OpenAI最大预训练模型Doug曝光

8月9日，长期关注OpenAI模型动向的X用户ChrisGPT发布爆料称，OpenAI正在推进一个代号为“Doug”的新一轮大型预训练模型。据其描述，这将是OpenAI迄今规模最大的预训练项目，不仅参数规模远超此前所有模型，而且训练数据量、计算资源投入均创下新纪录。ChrisGPT特别强调，Doug与GPT-6并非同一个模型，两者独立并行开发，暗示OpenAI可能在多条技术路线上同时发力。在后续回复中，他进一步透露Doug的训练集群可能使用了超过10万张英伟达H100 GPU，训练周期预计长达数月，耗电量惊人。他还提到，OpenAI内部对Doug的定位是“下一代基础模型”，旨在突破当前Transformer架构的缩放瓶颈，可能引入新的注意力机制或混合架构。该消息迅速在AI社区和投资圈发酵，引发对算力基础设施、芯片供应以及模型竞争格局的广泛讨论。值得注意的是，ChrisGPT此前曾准确预测过GPT-4的发布时间和部分参数，因此其爆料具有一定可信度。目前OpenAI官方尚未回应，但业界普遍认为，如果Doug顺利落地，将大幅提升AI在复杂推理、多模态理解、长文本生成等任务上的能力，同时也意味着全球AI算力需求将进入一个全新的量级。