今天,我们正式发布并全面开源日日新 SenseNova-Vision理解生成统一视觉大模型,这是商汤日日新大模型体系的重要视觉能力升级。
行业以往的 "统一视觉" 多是把检测、分割、深度预测等多个专家模型打包封装,本质还是割裂的。
SenseNova-Vision 的核心变革是:让视觉成为通用基础模型的原生能力,彻底融入大模型体系。所有经典视觉任务如目标检测、图像分割、深度预测、3D重建等,由此都实现了原生统一。
GitHub:
https://github.com/OpenSenseNova/SenseNova-Vision
这种 "原生融入" 带来了双向增益:
在视觉 AI 领域,商汤已连续十年蝉联中国视觉AI市场份额第一,并在2025年首次登顶视频分析赛道全球市场份额第一,及亚太地区市场份额第一。SenseNova-Vision将这种行业领先的视觉能力,融入统一多模态大模型体系,代表了视觉 AI 能力的跨越式演进。依托原生统一的技术路线,模型实现了从“执行工具”向“世界理解模型”的本质蜕变,不仅真正看懂物理世界的逻辑,更为AI在物理世界的广泛应用与深度交互构建全新的通用底座。
商汤日日新SenseNova-Vision能够原生统一地实现结构化视觉理解、稠密几何预测、图像分割以及多视角视觉几何等多项核心任务能力。
01
复杂场景实测:
自由指令下的“视觉读心术”
传统的视觉模型往往只能“各司其职”,而且遇到复杂、有干扰的场景就会“抓瞎”。得益于原生通用底座带来的智能涌现,SenseNova-Vision在面对人类视觉都容易犯错的极端场景时,展现出了惊人的泛化能力:
1、零样本泛化:未知游戏“一秒读懂”。
面对训练集中从未出现过的游戏画面,模型展现出了强悍的跨域适应力。在语言推理与原生视觉能力的交织下,它无需任何针对性重训,就能在一瞬间同时对画面中的表面法向、实例分割以及角色关键点检测进行无缝且精细化的处理。影视、游戏和数字内容创作者可以直接将其投入工作流。
以游戏《黑神话:悟空》的一张场景图为例,模型能对法向、分割、关键点等进行较好的处理(可点击查看大图)
2、超稠密物体分割:重叠鱼群各显其形
面对密密麻麻、高度重叠的鱼群、羊群,或是货架商品、俯拍车辆等极度稠密的场景,模型能够像外科手术般精准地将每个独立个体剥离出来。即使颜色极度相近、边缘深度交织,也能准确区分。这为工业计数、智慧仓储等场景提供了全新的解法。
以颜色重叠的鱼群、货架上东倒西歪的商品为例,模型能进行清晰、准确的分割
3、看穿镜面反射:正确还原空间几何
在包含镜子、玻璃的复杂室内环境中,传统视觉模型极易被镜中的倒影误导。而SenseNova-Vision能够自动过滤反射影像的迷局,准确估计出镜中物体的真实空间方向与深度关系。它不被虚拟的反射所欺骗,展现出对三维空间几何本质的深刻理解。
以镜面为例,模型能准确估计镜子里人的方向和深度
4、突破视觉错觉:不看表象,洞察空间本质
在充斥着视觉错觉干扰的图像中(例如经典的借位摄影),模型不仅能准确抠出被遮挡物体的完整轮廓,还能输出完全正确的表面法向估计。它不被图案和借位欺骗,正是语言模型的推理能力与稠密几何预测完美融合、看懂物理世界的具象体现。
模型能正确判断纹理形成的视觉欺骗
模型对于透视成像的近大远小现象领悟的非常透彻,完全没有被误导
前景棉花人物和后景云朵成功分离
02
核心任务领跑:
多项指标比肩专用专家模型
当视觉任务融入通用多模态生成后,不仅没有削弱专项能力,反而通过跨任务知识互补实现了性能飞跃。在多项权威评测中,SenseNova-Vision以“单模型”在四大核心视觉领域大范围领跑,比肩甚至超越了各领域的专用“专家模型”:
核心指标评测:SenseNova-Vision(深紫色柱状)在各项视觉任务中均处于领跑地位
横向相比优势显著:
03
重构底层逻辑:
从拼接到原生统一
长期以来,视觉AI沿着“一个任务对应一个模型”的路径演进,各个任务是彼此割裂的孤岛。
SenseNova-Vision彻底打破了这种结构性瓶颈,首次将全部视觉任务,统一表述为通用基础模型可理解的多模态生成问题。它不需要为不同任务设计专属预测头,而是直接在同一个共享的表征空间内,对文本、像素、语义信息和几何特征进行统一建模。
这种“大一统”的设计,带来了颠覆性的变化:
商汤SenseNova-Vision的发布和开源,成功验证了“统一多模态生成”这一全新技术路线的巨大潜能。它显著降低了视觉AI的应用门槛,开发者无需再为不同任务维护多套模型体系,单个模型即可覆盖高频视觉需求,从而大幅缩短研发周期、降低部署成本,尤其适合复杂图像、开放场景下的视觉应用开发。
同时,商汤也同步开源了包含5000万条高质量样本的视觉指令语料库 SenseNova-Vision Corpus-50M,为全球AI生态注入强劲动力。
未来,商汤将把SenseNova-Vision的核心技术全面融入日日新U系列大模型中,持续探索构建更加强大的统一多模态基座模型,迈向能够更深刻感知、推理和交互物理世界的通用人工智能(AGI)与世界模型。更多模型新动态,欢迎关注7月18日WAIC 2026 商汤科技“基座大模型架构创新与生态合作论坛”,可扫码文末海报预约直播~
模型开源地址: