企业推理场景需要多样化AI加速器
创始人
2026-05-21 23:16:52
0

近期,RCRTech采访了高性能计算和AI基础设施领域的先驱David Driggers。作为Cirrascale公司的首席执行官兼创始人,他专门为重型多GPU深度学习工作负载和高强度AI训练设计了优化的裸机服务器解决方案。目前,他正在进行一项重大战略转型,将业务重心转向面向财富500强企业的专用推理服务和推理即服务。

加速器选择不能一刀切

Driggers指出,从加速器的角度来看,一种方案适用所有场景是不可能的。他解释说:"当我们转向混合专家模型和多模态推理时,可能需要整合音频、视频、文本,最终还有空间信息,不同的加速器会在不同方面表现出色。"因此,对于企业推理来说,根据不同需求找到合适的平台至关重要,无论是追求超低延迟、能源效率、最低Token成本,还是其他要求。

他建议:"你应该寻找能够容纳你模型的最小、最简单的单元,然后尽可能将其推向技术栈的底层……同时仍然满足你的延迟要求——首Token时间。"他表示,这对于控制成本至关重要,因为"每家半导体公司在技术栈中的位置越高,收费就越高,按每次浮点运算和每兆字节内存收费。"

行业动态

数据中心改造利用方面,JLL的Sean Farney表示,造纸厂、钢铁厂和制造设施正越来越多地被改造成数据中心,特别是在美国铁锈地带,那里已经具备电力基础设施。

在市场预测方面,AWS和微软报告的AI收入运行率分别超过150亿美元和370亿美元。这也是穆迪上调超大规模云服务商资本支出预测的部分原因,预计2026年将达到7850亿美元,到2027年将突破1万亿美元。

AI正在改变就业格局。像任何技术革命一样,AI热潮预计将创造新型工作岗位。福特、英伟达和AT&T等大型公司正在扩大对蓝领和技术工人的招聘力度。

基础设施建设方面,BUZZ正在推进一项重大基础设施计划,专注于开发一个计划中的工业规模AI设施,能够支持约320兆瓦的公用事业容量,这是加拿大最大的AI基础设施开发项目之一。

谷歌和黑石集团在50亿美元初始股权投资的支持下,正在联合推出一家AI云公司,旨在以计算即服务模式提供数据中心容量、运营和谷歌云的TPU。

半导体市场方面,全球半导体销售额从2025年第四季度到2026年第一季度激增25%,总额达到2985亿美元。行业协会正在敦促国会扩大先进制造投资税收抵免,以跟上需求增长。

在亚洲,三菱电机东芝和京都芯片制造商ROHM正在积极谈判合并其功率半导体业务,以建立全球第二大功率芯片联盟。

技术层面,现代GPU越来越依赖专用硬件单元和异步协调机制,因此性能取决于数据移动、张量核心计算和同步的协调。

投资动态方面,软银首席执行官套现58亿美元英伟达股份投资OpenAI的举动并非他的首次冒险之举。

Q&A

Q1:为什么企业AI推理不能使用单一类型的加速器?

A:因为当转向混合专家模型和多模态推理时,需要整合音频、视频、文本甚至空间信息,不同的加速器在处理不同类型数据时表现各异。企业需要根据超低延迟、能源效率或最低Token成本等不同需求,选择最合适的加速器平台。

Q2:如何选择合适的AI推理加速器来控制成本?

A:应该寻找能够容纳模型的最小、最简单的计算单元,然后尽可能将其推向技术栈的底层,同时满足延迟要求和首Token时间。因为半导体公司在技术栈中位置越高收费越高,按浮点运算和内存容量收费。

Q3:全球半导体市场目前的增长情况如何?

A:全球半导体销售额从2025年第四季度到2026年第一季度激增25%,总额达到2985亿美元。同时,AWS和微软的AI收入运行率分别超过150亿美元和370亿美元,推动穆迪预测超大规模云服务商2026年资本支出将达7850亿美元,2027年突破1万亿美元。

相关内容

热门资讯

九寨沟景区将于明日起全域恢复开... 7月29日,九寨沟风景名胜区管理局发布关于全域恢复开放的通告:7月26日,九寨沟景区遭遇局部泥石流,...
行进中国丨闽东老街,藏着百年肌... 本文转自:人民网位于福建省宁德市蕉城区的鹏程历史文化街区。人民网记者 李唯一摄街区内的明清古建筑群。...
AI中国|世界遗产+1!千年景... 今天(25日)由中国申报的“景德镇手工瓷业遗存” 成功列入《世界遗产名录》 成为我国第61项世界遗产...
不输江南独绝西南!800年丽江... 很多人奔赴云南,执念从来不是走马观花的网红打卡,而是想在喧嚣尘世之外,寻一处山水相依、文脉绵长的烟火...
英伟达CEO黄仁勋:“AI末日... 7 月 25 日消息,据《商业内幕》24 日报道,英伟达 CEO 黄仁勋认为,所谓的“AI 末日论者...
2026年AI短视频培训机构怎... 2026年,AI短视频培训已经从"要不要学"变成了"跟谁学"。但同样是学短视频,有人为了找工作,有人...
北京石景山推动AI等五大特色产... 中新网北京7月25日电 (记者 陈杭)北京石景山将持续压实市区企协同项目推进机制,统筹市级政策、区级...
中国AI成功救场后,OpenA... 近日,美国人工智能公司OpenAI的模型在安全测试中失控“越狱”,攻击了全球最大AI开源平台Hugg...
黄仁勋入驻X首条推文:英伟达等... IT之家 7 月 25 日消息,科技媒体 Tom's Hardware 今天(7 月 25 日)发布...