蚂蚁百灵开源轻量MoE模型

8月11日，蚂蚁百灵在Hugging Face平台开源Ling-3.0-tiny模型。该模型为轻量级混合推理MoE架构，总参数7.9B，每Token激活1.3B参数。官方提供BF16、FP8和INT4权重版本，适配不同平台部署需求。Ling-3.0-tiny主打低成本推理，采用高效混合线性架构，将KDA（Kimi Delta Attention）和MLA（Multi-Head Latent Attention）按照3:1比例交替堆叠。采用包含128个路由专家（routed experts）的稀疏MoE。该模型可在英伟达DGX Spark和苹果Mac mini上部署，体现了蚂蚁在端侧AI和边缘计算领域的布局。开源策略有助于降低AI应用门槛，推动中小企业和开发者快速集成AI能力。模型量化版本支持不同精度，INT4版本可进一步降低显存占用，适合资源受限设备。Ling-3.0-tiny的发布标志着蚂蚁在轻量化模型方向取得进展，其混合注意力机制在保证性能的同时减少计算量，128个专家稀疏激活仅1.3B参数，推理效率极高。该模型已在Hugging Face上开放下载，提供模型权重、推理代码及部署指南。