随着生成式AI的迅猛发展,业界对"更大即更好"的传统认知正在发生转变。多位顶尖AI科学家近期表示,单纯通过增加数据量和算力来提升AI性能的方法已接近瓶颈,新的技术突破方向正在显现。

Safe Superintelligence和OpenAI的联合创始人Ilya Sutskever近日发表观点,认为传统预训练方法已进入性能平台期。这一论断格外引人注目,因为正是他早期倡导的大规模预训练方法催生了ChatGPT。如今,他表示AI领域已从"规模扩张时代"迈入"奇迹和发现时代"。

image

当前大模型训练面临多重挑战:动辄数千万美元的训练成本、系统复杂度带来的硬件故障风险、漫长的测试周期,以及数据资源和能源供应的限制。这些问题促使研究人员开始探索新的技术路径。

其中,"测试时计算"(test-time compute)技术受到广泛关注。这种方法允许AI模型在使用过程中实时生成和评估多个方案,而非直接给出单一答案。OpenAI研究员Noam Brown打了个形象的比方:让AI在一盘扑克牌中思考20秒,效果堪比将模型规模和训练时间扩大10万倍。

目前,包括OpenAI、Anthropic、xAI和DeepMind在内的多家顶尖AI实验室都在积极开发各自的技术版本。OpenAI已在其最新模型"o1"中应用了这一技术,首席产品官Kevin Weil表示,通过这些创新方法,他们看到了大量提升模型性能的机会。

业内专家认为,这种技术路线的转变可能重塑整个AI行业的竞争格局,并从根本上改变AI公司对各类资源的需求结构。这标志着AI发展正在进入一个更注重质量提升而非单纯规模扩张的新阶段。