OpenAI CEO Sam Altman 回顾了 OpenAI 的研发瓶颈演变,早期最大的限制是缺乏研究思路,随后随着方向明确,瓶颈转向算力;数据耗尽后,又一度受限于高质量数据。如今虽然算力仍是核心瓶颈,但过去半年研究创新再次迎来重大突破。一个惊人的例子是,如今一次大模型训练前的验证工作,消耗的算力已相当于18个月前训练整个模型所需的全部算力,体现出 AI 研发规模正以前所未有的速度增长。
18个月前整个OpenAI的算力,如今只够训练一次
资讯来源:华尔街见闻
OpenAI CEO Sam Altman 回顾了 OpenAI 的研发瓶颈演变,早期最大的限制是缺乏研究思路,随后随着方向明确,瓶颈转向算力;数据耗尽后,又一度受限于高质量数据。如今虽然算力仍是核心瓶颈,但过去半年研究创新再次迎来重大突破。一个惊人的例子是,如今一次大模型训练前的验证工作,消耗的算力已相当于18个月前训练整个模型所需的全部算力,体现出 AI 研发规模正以前所未有的速度增长。
资讯来源:华尔街见闻