北京大学联合华为发布全栈开源DeepSeek推理方案
创始人
2025-03-10 14:12:10
0

3 月 10 日消息,据华为技术有限公司和北京大学高性能计算校级公共平台消息,2025 年 3 月 9 日,北京大学联合华为发布 DeepSeek 全栈开源推理方案。

据介绍,该方案基于北大自研 SCOW 算力平台系统、鹤思调度系统,并整合 DeepSeek、openEuler、MindSpore 与 vLLM / RAY 等社区开源组件,实现华为昇腾上的 DeepSeek 高效推理,并支持大规模算力集群训推一体化部署。所有开发者均可获取源码并根据需求二次开发,性能接近闭源方案。

全栈开源方案其他闭源方案模型DeepSeek-R1-w8a8硬件配置2*Atlas 800I A2输入长度4096输出长度1024系统输出

吞吐11981288用户并发128128

目前,此方案在未名卓越一号集群部署成功。该集群由北京大学计算中心负责研制与运维管理,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。IT之家查询获悉,作为国内首个基于高校自研基础软件的国产智算平台,该集群于 2024 年 11 月 18 日上线运行,首期集成 20 台昇腾 AI 服务器与 10 台鲲鹏通用服务器,AI 算力规模为 30.64PFlops(半精度)。

此次发布的 DeepSeek 推理方案依托全栈开源组件构建,在 openEuler 开源操作系统层面进行了深度优化;通过异构调度负载感知 MoE 冷热专家,从而更细粒度调度任务;通过异构融合来高效管理内存,减小系统内存碎片;利用毕昇编译器进一步优化,减少算子下发耗时,提升推理整体性能。

算力集群全栈开源推理方案架构图

【来源:IT之家】

相关内容

鸿海首个大语言模型FoxB...
IT之家 3 月 10 日消息,据路透社报道,鸿海今日宣布推出首个...
2025-03-10 16:42:04
WeLab Bank汇立银...
近日,亚洲领先的数字银行WeLab Bank汇立银行宣布,于中国香...
2025-03-10 15:39:36
概念掘金 | 华为进军AI...
今日AI医疗概念股大幅拉升,A股中,新赣江涨超21%,创业慧康20...
2025-03-10 15:13:28
北京大学联合华为发布全栈开...
3 月 10 日消息,据华为技术有限公司和北京大学高性能计算校级公...
2025-03-10 14:12:10
AI行业观察:Manus发...
2025年3月6日,中国AI创业公司Monica发布全球首款通用A...
2025-03-10 11:12:37
饿了么用AI革新“商家赋能...
出品/壹览商业 蒙嘉怡 最近的外卖市场格外“热闹”,京东高调入...
2025-03-10 10:41:06

热门资讯

王家大院现在的所有者还是王家的... 王家大院现在的所有者还是王家的后人吗?我说的是山西灵石的王家大院...现在不知道是被收为国,还是仍为...
写字好看的女生有什么优势 写字好看的女生有什么优势见字如见人,字好看 很加分的。学校有书法比赛时很吃香哦感觉没有打字快的女生有...
杨大勇的妻子是谁 杨大勇的妻子是谁杨大勇的妻子是一位名叫王小丽的女性。据悉,王小丽与杨大勇相识于大学时期,两人相恋多年...
顶级绝伦推理片100部介绍 顶级绝伦推理片100部介绍 《白夜追凶》;可以说是刑侦国剧天花板了,逻辑,叙事方式,主演演技,这些几...
我家办白事,朋友给我发红包,我... 我家办白事,朋友给我发红包,我该怎么说感谢话我家办白事,朋友给我发红包,我该怎么说感谢话当家里有事情...
女生说男生丑萌什么意思? 女生说男生丑萌什么意思?丑萌就是又丑又萌,意思是男生在她的审美里不是好看的那种,但是又很戳她萌点就是...
小猿众包骗局 小猿众包骗局小猿众包是小猿旗下的可以在家做题赚钱的兼职,平时如果时间充裕的情况下可以做做小猿众包挣个...
自从和女朋友确定关系后,女朋友... 自从和女朋友确定关系后,女朋友为什么每天晚上发视频要我给她讲故事哄她睡觉?每次给她讲一个小时她都不睡...
外婆发外孙朋友圈说说有哪些? 外婆发外孙朋友圈说说有哪些? 1、天伦之乐,幸福便是如此简单。2、难得好时光,携孙儿共享天伦之乐,哪...
托举的意思是什么 托举的意思是什么一、“托举”是花样滑冰的技术名词。指两人在滑行中,以某一种连接方式,男伴将女伴托起至...