Transformer触顶 Mobius革命

自2022年ChatGPT问世以来，Transformer架构成为大模型主流，但其局限性逐渐显现。近期，前OpenAI推理负责人Jerry Tworek与前Google Gemini预训练负责人Rohan Anil在公开场合明确表示，Transformer在扩展性、长上下文处理、推理效率等方面已接近理论极限。他们提出Mobius架构，通过动态注意力机制、循环计算和稀疏化设计，将计算复杂度从O(n²)降至O(n)，并支持无限长上下文。实验数据显示，在相同参数量下，Mobius模型在多项基准测试中性能提升约20%，推理速度提升3倍，同时训练成本降低30%以上。目前，已有多个研究团队开始复现Mobius，但面临训练稳定性不足、硬件适配困难等问题。业内专家认为，若Mobius被验证有效，将引发AI模型架构的范式转移，类似于从RNN到Transformer的转变。这一表态对AI产业链产生深远影响：现有基于Transformer的芯片、服务器与软件生态可能面临重构，而新架构的落地将推动算力需求结构从训练转向推理，并催生新的硬件优化方向。此外，Mobius的线性复杂度特性将大幅降低边缘端和端侧AI的部署门槛，加速AI应用普及。