腾讯混元团队开源7700亿参数多模态大模型Hy4
10月20日,腾讯(0700.HK)混元团队正式开源了基于语言主干架构、拥有7700亿(770B)参数的多模态人工智能模型Hy4。该模型已推出支持最大1048576个Token上下文窗口的正式版,开发者可下载权重并在自有环境中运行。
本次开源包含三种模型版本:指令微调版Hy4、FP8量化版Hy4-FP8以及预训练基础版Hy4 Base。模型权重已同步发布至Hugging Face、ModelScope和GitCode平台,同时公开了详细的System Card(系统卡片)文档。
模型架构与核心技术
Hy4采用专家混合(MoE)结构,在7700亿总参数量中,每个Token仅激活490亿个参数。需注意的是,总参数量与激活参数量为不同指标,490亿并不代表模型的整体规模。
- 语言主干网络:由78层组成。第一层为常规前馈神经网络(FFN),其余77层为MoE FFN。每个MoE层配置了256个路由专家和1个共享专家,推理时每个Token动态路由选择8个路由专家及1个共享专家进行计算。
- 多模态能力:Hy4不仅处理文本,还支持图像和视频理解。其视觉编码器包含12.3亿参数,辅助推理的DFly2草稿模型包含33亿参数。
- 长上下文技术:为支持超长上下文,模型采用了Gated DeepSeek稀疏注意力机制和IndexCache技术。索引器从全上下文中选取最多2048个Token,将总上下文长度设定为1048576 Token。
部署支持与许可证条款
部署工具:官方提供了vLLM和SGLang的支持示例。其中,vLLM示例展示了如何在Hy4-FP8上配置8路张量并行,并启用OpenAI兼容API接口。
许可证协议:Hy4未采用Apache License 2.0,而是使用“Tencent Hy License 1.0”。根据协议:
- 微调、量化、蒸馏、合并、剪枝等衍生模型均被视为许可范围内的派生作品。
- 若模型服务(MaaS)提供商在全球任意连续12个月内的总收入超过5000万美元,或其产品/服务的月活跃用户数超过1亿,则需单独获取书面许可。
- 纯内部使用(不向第三方提供模型、衍生模型及其输出物)不受上述营收和用户规模限制。
性能评估与安全声明
金融领域表现:在腾讯混元团队与腾讯云金融科技联合进行的金融评估中,包括153名主要金融机构专家在内的213名参与者对模型进行了测试。在579项金融业务场景中,Hy4平均得分3.04分(满分4分),在所有对比的开放权重模型中表现最佳。
能力边界说明:腾讯指出,尽管Hy4在预览版基础上提升了视觉理解、长上下文理解和长期任务执行能力,但在研究级数学推理、长代码生成、模型自我改进及高难度视觉问答方面,与顶级闭源模型仍存在差距。
安全评估:System Card中的安全性数据由腾讯研究与安全组织内部完成,不代表外部独立机构的复现验证结果,解读时需保持谨慎。
其他注意事项
资源消耗:7700亿参数指排除视觉编码器和DFly2后的语言主干数值。由于需存储全部权重以支持推理,实际运行成本和显存需求不能简单按490亿激活参数量估算。
内容范围:本次公开资料聚焦于模型权重、部署路径及许可证条件,未涉及加密货币、区块链集成、特定GPU供应合同或芯片用量等敏感商业细节。