企业推理场景需要多样化AI加速器
创始人
2026-05-21 23:16:52
0

近期,RCRTech采访了高性能计算和AI基础设施领域的先驱David Driggers。作为Cirrascale公司的首席执行官兼创始人,他专门为重型多GPU深度学习工作负载和高强度AI训练设计了优化的裸机服务器解决方案。目前,他正在进行一项重大战略转型,将业务重心转向面向财富500强企业的专用推理服务和推理即服务。

加速器选择不能一刀切

Driggers指出,从加速器的角度来看,一种方案适用所有场景是不可能的。他解释说:"当我们转向混合专家模型和多模态推理时,可能需要整合音频、视频、文本,最终还有空间信息,不同的加速器会在不同方面表现出色。"因此,对于企业推理来说,根据不同需求找到合适的平台至关重要,无论是追求超低延迟、能源效率、最低Token成本,还是其他要求。

他建议:"你应该寻找能够容纳你模型的最小、最简单的单元,然后尽可能将其推向技术栈的底层……同时仍然满足你的延迟要求——首Token时间。"他表示,这对于控制成本至关重要,因为"每家半导体公司在技术栈中的位置越高,收费就越高,按每次浮点运算和每兆字节内存收费。"

行业动态

数据中心改造利用方面,JLL的Sean Farney表示,造纸厂、钢铁厂和制造设施正越来越多地被改造成数据中心,特别是在美国铁锈地带,那里已经具备电力基础设施。

在市场预测方面,AWS和微软报告的AI收入运行率分别超过150亿美元和370亿美元。这也是穆迪上调超大规模云服务商资本支出预测的部分原因,预计2026年将达到7850亿美元,到2027年将突破1万亿美元。

AI正在改变就业格局。像任何技术革命一样,AI热潮预计将创造新型工作岗位。福特、英伟达和AT&T等大型公司正在扩大对蓝领和技术工人的招聘力度。

基础设施建设方面,BUZZ正在推进一项重大基础设施计划,专注于开发一个计划中的工业规模AI设施,能够支持约320兆瓦的公用事业容量,这是加拿大最大的AI基础设施开发项目之一。

谷歌和黑石集团在50亿美元初始股权投资的支持下,正在联合推出一家AI云公司,旨在以计算即服务模式提供数据中心容量、运营和谷歌云的TPU。

半导体市场方面,全球半导体销售额从2025年第四季度到2026年第一季度激增25%,总额达到2985亿美元。行业协会正在敦促国会扩大先进制造投资税收抵免,以跟上需求增长。

在亚洲,三菱电机东芝和京都芯片制造商ROHM正在积极谈判合并其功率半导体业务,以建立全球第二大功率芯片联盟。

技术层面,现代GPU越来越依赖专用硬件单元和异步协调机制,因此性能取决于数据移动、张量核心计算和同步的协调。

投资动态方面,软银首席执行官套现58亿美元英伟达股份投资OpenAI的举动并非他的首次冒险之举。

Q&A

Q1:为什么企业AI推理不能使用单一类型的加速器?

A:因为当转向混合专家模型和多模态推理时,需要整合音频、视频、文本甚至空间信息,不同的加速器在处理不同类型数据时表现各异。企业需要根据超低延迟、能源效率或最低Token成本等不同需求,选择最合适的加速器平台。

Q2:如何选择合适的AI推理加速器来控制成本?

A:应该寻找能够容纳模型的最小、最简单的计算单元,然后尽可能将其推向技术栈的底层,同时满足延迟要求和首Token时间。因为半导体公司在技术栈中位置越高收费越高,按浮点运算和内存容量收费。

Q3:全球半导体市场目前的增长情况如何?

A:全球半导体销售额从2025年第四季度到2026年第一季度激增25%,总额达到2985亿美元。同时,AWS和微软的AI收入运行率分别超过150亿美元和370亿美元,推动穆迪预测超大规模云服务商2026年资本支出将达7850亿美元,2027年突破1万亿美元。

相关内容

热门资讯

随着AI成本攀升,戴尔力推回归... 随着企业加速部署基于智能体的AI系统,Token消耗量正以前所未有的速度增长,导致来自主要公有云服务...
广州海珠AI产品组团亮相深圳文... 5月21日,第二十二届中国(深圳)国际文化产业博览交易会在深圳国际会展中心启幕。广州市海珠区以 “人...
AI图片|卸下基层“包袱” 让... 贵州日报天眼新闻记者 彭怡 编辑 晏惠轩 二审 张齐 三审 孙晓蓉
企业推理场景需要多样化AI加速... 近期,RCRTech采访了高性能计算和AI基础设施领域的先驱David Driggers。作为Cir...
崇明:万物初盈,三条亲水线路解... 今日小满,万物初盈,夏意渐浓。崇明,作为长江入海口的重要生态屏障,以极高的生物栖息质量,成为人与自然...
三人行必有 AI 黑客松北京赛... 【北京,2026年5月10日】 一份商业航天技术文档,从编写到跨部门对齐需要多久?答案是2到3天。对...
AI导致的岗位流失将在其他领域... 关于AI究竟是在创造就业还是摧毁就业,市场上存在相互矛盾的信号,尽管许多公司已将近期裁员归咎于这一技...
腾讯混元全新翻译模型Hy-MT... 5月21日,据腾讯混元消息,混元翻译模型Hy-MT2 正式开源。Hy-MT2包含3个尺寸的模型Hy-...
湖南张家界现壮美云海 如画美景... 来源:中国新闻网5月18日,湖南张家界国家森林公园袁家界、十里画廊、水绕四门、黄石寨等景区,出现壮美...
受持续强降雨影响,湖南多地景区... 受持续强降雨影响近日,湖南多地景区发布临时闭园公告。邵阳市绥宁县花园阁国家湿地公园从5月20日18时...