【AI前沿】重磅开源！原生多模态 LongCat-Next 发布，让视觉和语音成为 AI 的“母语”

AI资讯AI新闻资讯正文重磅开源！原生多模态 LongCat-Next 发布，让视觉和语音成为 AI 的“母语”发布于AI新闻资讯发布时间 :2026年6月4号 15:48阅读 :1分钟全球人工智能界正迎来一场关于“AI母语”的技术革新。针对当前大模型普遍存在的“以语言为中心、外挂视觉或语音模块”的拼凑式异构架构，大模型研发团队于近日正式发布并开源了全新原生多模态大模型 LongCat-Next 及其核心的离散分词器，旨在打破模态阻隔，让 AI 能够像处理文字一样原生地理解和感知物理世界。这一破局之举的核心在于重构了 AI 的底层架构。团队在研究中发现，在统一的建模框架与优化目标下，可以构造出一种语义完备的离散表示。为此，LongCat-Next 引入了全新的 DiNA（离散原生自回归）架构，彻底改变了过去多模态信息仅能“被投影”而无法“被内化”的困境。该架构将图像、声音和文字统一转化为同源的离散 Token，让所有模态在底座模型中共享同一套参数、注意力机制和损失函数。无论是视觉的看与画，还是听觉的听与说，在数学形式上都被收敛为优雅的“下一 Token 预测(NTP)”，从而实现了架构的极简与部署的轻量化。在“视觉单词”的构造上，团队首创了 dNaViT（离散原生分辨率视觉分词器）技术。该技术支持原生任意分辨率，在处理文档解析和复杂图表推理等细节敏感任务时表现优异。dNaViT 采用8层残差向量量化(RVQ)机制，实现了高达28倍的极致像素空间压缩，并利用解耦的双轨生成解码器确保了图像和文本还原的高保真度。这种设计实现了“图像→Token→图像”的完整闭环，让模型在语言内部真正学习并内生出属于自己的视觉语言。针对行业公认的“离散化必然损失信息”难题，团队通过构建 SAE（语义对齐编码器）对表征进行层级化拟合，成功在有限的离散空间内逼近高维连续表示，证明了离散表示同样能成为统一理解与生成的完备载体。在以 LongCat-Flash-Lite MoE(68.5B总参数，3B激活参数)为基座的基准测试中，LongCat-Next 展现出了极具工业级潜力的跨模态协同能力。在 OmniDocBench 测试中，其表现不仅超越了 Qwen3-Omni，更击败了专用视觉模型 Qwen3-VL，打破了离散模型不擅长细粒度感知的刻板印象。此外，该统一框架在实现跨模态协同的同时，并未折损其核心语言能力。数据显示，LongCat-Next 在 MMLU-Pro 和 C-Eval 等纯文本测试中表现持续领先;在工具调用与代码编写上，其 SWE-Bench 成绩显著超越同类模型。在音频领域，该模型同样大放异彩，不仅在 SeedTTS 的中英文语音合成中实现了极低的误字率，还支持低延迟的并行文本语音生成与个性化语音克隆。随着该模型在GitHub与HuggingFace的全量开源，原生多模态技术正迈向更深远的产业落地。