📖 内容分析
Thinking Machines Lab于7月30日发布博文，宣布推出Inkling-Small模型。该模型性能与号称“美国最强开源AI模型”的Inkling相近，但规模降低至约四分之一。Inkling采用混合专家（MoE）架构，总参数975B、激活参数41B，最长上下文1M tokens。而Inkling-Small同样采用MoE架构，总参数为276B，激活参数为12B，规模约为Inkling的1/4，并在NVIDIA GB300 NVL72系统上完成训练。这一模型通过更高效的参数分配和训练策略，在保持较高质量输出的同时大幅降低计算资源需求。Inkling-Small的发布表明，通过优化模型架构和训练方法，可以在不显著牺牲性能的前提下实现模型的小型化，这对AI产业的商业化落地具有重要意义。小型化模型更易于部署在边缘设备或云端资源受限的场景，同时降低推理延迟和能耗，有望推动AI应用在更多行业中的普及。此外，该模型的开源属性（基于原Inkling的开源政策）将进一步加速全球开发者社区的创新，促进AI生态的多样化发展。