月之暗面开源2.8万亿参数Kimi K3模型

月之暗面官方正式开源Kimi K3模型，同步发布了模型权重、技术报告，并开源了支撑Kimi K3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。Kimi K3是一个2.8万亿参数的大模型，其核心技术架构基于KDA混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术，能够在不牺牲性能的前提下大幅降低计算复杂度。该模型原生支持视觉理解，具备多模态能力，并拥有100万token的上下文窗口，可处理超长文本和复杂任务。官方表示，Kimi K3是首个达到2.8万亿参数规模的开源模型，在过去12个月中的9个月里，Kimi模型都保持着开源模型的规模上限。这一开源动作不仅展示了月之暗面在超大模型训练和推理方面的技术积累，也为整个AI行业提供了高水平的基础模型和技术基础设施。其中，MoonEP专注于高效并行训练，FlashKDA优化注意力机制的计算效率，AgentEnv则用于构建智能体交互环境，这些工具的开源有望降低开发者部署和二次开发的门槛，加速AI应用落地。Kimi K3的发布标志着中国大模型在开源领域取得重要突破，参数规模达到全球领先水平，同时其技术路线（混合线性注意力）也为未来大模型的发展提供了新思路。