“只有让智能生成像水电一样被稳定地调度与供给,才能真正迎来算力制造Token为王的普惠智能时代。”中国工程院院士、趋境科技首席科学顾问郑纬民在“全栈智能 全域推理:Token爆发元年的全场景大规模推理服务”专题研讨会上说道。
郑纬民在演讲中指出,随着智能体、AI Coding(编程)等应用的爆发式增长,Token消耗量呈百倍、千倍级跃升,2026年已成为名副其实的“Token爆发元年”。AI产业的核心关注焦点,正从“模型参数规模、模型可用性”全面转向“稳定、低成本、高质量交付的Token产能”。
“未来的智能基础设施应围绕‘Token即服务(TaaS,Token as a Service)’进行重构”。郑纬民说,传统模型服务的核心是保障模型可得性与接口完整性,而Token服务的核心是保障Token产能的可用性,更关注成本、吞吐、延迟与可靠性等生产性指标,是一个极端复杂的多维系统最优化问题,必须完成全链路的系统级创新。
对此,郑纬民提出了TaaS发展的三大核心技术底座:一是全系统异构协同,通过将不同计算任务合理分配至GPU、CPU、内存和SSD,打破算力瓶颈;二是存算协同实现“以存换算”,通过前置KV Cache等技术,大幅降低重复计算量,提升推理效率;三是面向SLO的智能调度,精准地将用户业务需求“翻译”为底层资源决策。
当日,趋境ATaaS高效能AI Token生产服务平台在会上发布。针对当前大模型推理服务中普遍存在的硬件资源闲置、软件适配滞后、算力配置粗放、架构演进失衡四大核心难题,该平台将有效破解大额硬件投入难以转化为优质 Token 产能、资源浪费与成本空耗突出的行业困境,以高效能Token生产为核心目标,可支撑万级别AI推理需求,并达到日均万亿级别Token整体产能。
来源:北京日报客户端
记者:孙奇茹