美团发布开源原生多模态大模型 LongCat-Next
创始人
2026-03-28 13:53:06
0

3 月 27 日消息,美团今日发布原生多模态大模型 LongCat-Next,将图像、语音与文本统一映射为同源的离散 Token,使模型从学习连续空间的映射,转向学习离散 ID 之间的关系结构,并通过纯粹的下一个 Token 预测(Next Token Prediction, NTP)范式,以一种统一的方式建模各种物理信号。

美团还宣布把研究思路的核心 —— LongCat-Next 模型和它的离散分词器全部开源,希望更多开发者能基于它,构建真正能感知、理解并作用于真实世界的 AI。

美团构建了 DiNA(Discrete Native Autoregressive)离散原生自回归架构。其核心就是将所有模态统一为离散 Token,并用同一个自回归模型进行建模。DiNA 打破了模态间的隔阂。它通过极简的下一 Token 预测(NTP)范式,将图像、声音和文字统一转化为同源的离散 Token。

简单而言,美团把文字、图像、语音都变成同一种东西 —— 离散 Token。无论读文字、看图片还是听声音,对 AI 来说都是同一件事:预测下一个 Token 是什么。

这种统一设计,让模型在训练时更稳定,部署时更轻量。美团用 LongCat-Flash-Lite MoE(68.5B 总参数,3B 激活参数)作为基座,在这个框架基础上训练了 LongCat-Next。

实验表明,DiNA 的 MoE 路由在训练中逐渐出现模态专精化,激活专家数量相比纯语言设置有所增加,模型正在用更大容量支撑能力扩展。

▲ LongCat-Next 架构概览,该架构基于 DiNA 范式设计

根据美团官方测试,LongCat-Next 在视觉理解、图像生成、音频、智能体等多个维度上,以一套离散原生框架展现出与多模专用模型相当甚至领先的性能。

LongCat-Next 在 OmniDocBench(学术论文、财报、行政表格)上的表现(0.152 / 0.226)不仅超越 Qwen3-Omni,还超过了专用视觉模型 Qwen3-VL。

消融实验对比中,LongCat-Next 统一模型的理解损失仅比纯理解模型高 0.006,而生成损失比纯生成模型低 0.02。在图像生成上,LongCat-Next 在 LongText-Bench(英文 93.15);在图像理解上,MathVista(83.1)达到领先水平。

在纯文本任务上,LongCat-Next 的 MMLU-Pro(77.02)和 C-Eval(86.80)表现领先,证明原生多模态训练未削弱语言核心能力。在工具调用上,τ²-Bench 零售场景(73.68)大幅领先 Qwen3-Next-80B-A3B-Instruct(57.3);在代码能力上,SWE-Bench(43.0)超越同类模型。

在音频领域,TTS 任务上,SeedTTS 的中文和英文 WER 分别低至 1.90 和 1.89;音频理解上,MMAU(76.40)、TUT2017(43.09)均达到先进水平。更重要的是,模型支持低延迟的并行文本语音生成与可定制的语音克隆,让语音交互更自然、更个性化。

【来源:IT之家】

相关内容

热门资讯

大型国际邮轮双双停靠上海,55... 麦西夫六号邮轮游客抵达上海后下船游览。今晨8时,满载2500余名海外游客的麦西夫六号(Mein Sc...
千城胜景|四川乐山:嘉州绿心公...   近日,四川乐山市中区嘉州绿心公园十里桃花迎来盛花期。成片桃花竞相绽放,粉艳烂漫,与蜿蜒步道、葱郁...
山谷为幕艺术为媒,北京门头沟檀... 开山启序,乐享春光!3月27日至29日,2026檀谷开山节在门头沟区潭柘寺镇檀谷・慢闪公园举办。开山...
感谢国足,让我们知道了库拉索,... 足球的魅力之一,总在于它能以意想不到的方式,为我们打开一扇观察世界的窗。这不,中国男足又一次用一场“...
剧本杀、潮玩IP 许昌文旅老I... 央视网消息(记者 郑嘉豪)谁说历史只能“看”?历史正在河南许昌被“玩”出新花样!记者从近日召开的河南...
辰山夜樱首日迎大客流 老法师“... 东方网记者柏可林3月28日报道:今天是辰山植物园夜樱开放首日,截至当日16时游客量已达2.8万人,预...
各国专家业者共论:AI塑造文化... 中新社北京3月28日电 (记者 应妮)“AI时代,文明的这艘巨轮即将驶入未知的深海无人区,文化遗产不...
原来你是这样的河南·好评中国丨... 来源:央广网央广网郑州3月28日消息初春的午后,开封万岁山武侠城里人头攒动,《三打祝家庄》的实景马战...
花海中感受春日气息 花海中感受... 3月28日,金山区吕巷水果公园内成片桃林繁花满枝,错落有致,不少市民游客趁着晴好天气前来踏青游玩,尽...
AI短剧出海专访,仿真人成主流... 当国内AI短剧还在为“10万部产能、亿级播放稀缺”的内卷焦虑时,海外市场已成为新的增长引擎。2026...