华为昇腾实现RL训推一致性

华为计算官方8月5日宣布，昇腾基于Ascend C编程语言提供完整训推一致算子集，在Qwen3-30B MoE模型上的测试实现Logdiff为0，并通过昇腾亲和的FA算子优化，在Eager模式下获得20%-60%性能收益，为开发者提供高效可靠的强化学习训练方案。强化学习已成为大模型训练主流范式，推动模型技术向行业核心场景工程化落地。其中，训推一致至关重要，因推理与训练过程耦合，基础设施差异易放大不确定性。RL后训练训推不一致最根本的原因，是底层计算时累加不保序。若要从上到下保证训练引擎与推理引擎每一次累加顺序一致，需要框架侧与算子侧同时发力。模型参数越大，问题会进一步放大：张量并行、专家并行等切分策略，以及集合通信路径，任一环节对不齐，都无法做到最终的true-on-policy。算子还需要覆盖多种调用场景，在关键计算步骤上施加约束，同时把性能损失控制在可用范围内——这是一项系统性工程挑战。华为昇腾此次通过Ascend C提供了完整的训推一致算子集，从根本上解决了累加顺序问题，并在优化算子的同时实现了显著的性能提升。这一成果表明国产AI芯片在强化学习训练链条上已具备与国际主流方案对标的能力，尤其在大规模MoE模型场景下，性能收益可达60%，对降低大模型训练成本、提升迭代效率具有直接价值。