小红书UltraEP高效调平MoE负载

近年来，AI算力集群的瓶颈正从带宽和通信延迟转向负载均衡，尤其随着华为Atlas 900 A3 SuperPoD、NVIDIA NVL72等整柜系统将数十颗GPU置于高速互连域内，专家负载不均成为新的“浪费重灾区”。小红书推出的UltraEP系统，通过创新的实时调度算法，在300微秒内完成MoE（混合专家）模型专家间的负载调平，将训练和推理吞吐提升至接近理论极限的94.3%。传统方案通常需要毫秒级甚至更长的负载均衡时间，且难以应对动态变化的计算需求。UltraEP利用GPU的异步执行能力和低延迟通信，实现了近乎实时的负载重分配，避免了“木桶效应”导致的闲置算力。实测数据显示，在256专家规模下，吞吐提升超过30%，同时模型精度无损。该技术已落地于小红书推荐系统大模型训练，并计划开源部分代码，有望推动整个AI行业降低大模型训练成本。UltraEP的出现，标志着AI基础设施从“拼带宽、拼算力”进入“拼效率、拼调度”的新阶段，尤其对MoE架构的规模化部署具有里程碑意义。