亚洲财经

☰ 搜索

3D领域第一的阿斯特拉,开发者更偏爱长期编码中的Opus 5.5

GPT-6.2 Astra 3D制作评测夺冠,开发者却更青睐Claude Opus 5.5

尽管OpenAI的GPT-6.2 Astra在3D制作评测中位列第一,但参与预测试的开发人员表示,在长期的编码任务中,他们更倾向于使用Claude Opus 5.5。针对3D成果评估与持续数日的开发协作,不同场景下得出了截然不同的评价。

评测表现与实际体验的差异

T3 Chat和T3 Code的首席执行官Theo Browne于17日发表文章指出:“如果是进行编码工作,我不会选择Astra,而是会选用Opus 5.5。”他在公开对OpenAI提交的预测试反馈时提到,虽然部分意见已被采纳,但该模型尚未达到值得推荐的程度。

由Artificial Analysis运营的AA-3D评测显示,Astra以1318 Elo得分位居榜首,Claude Faible 5.2以1271分紧随其后。此前报道指出,Astra领先Faible 5.2达47分。

AA-3D是一项要求模型根据文字需求生成可交互3D网页场景的评测,共包含55个任务。评估者在不清楚哪个模型生成了结果的情况下,会对两个场景进行比较。该排名仅反映在这些特定任务中的成果质量。

然而,这一评测并未直接衡量长期代码修改或用户对话的质量。因此,3D制作排名第一与开发者在长期工作中的实际体验,反映的是模型在不同维度的能力差异。

Astra的优势与局限

Brown评价称,Astra在发现其他模型遗漏的代码问题、3D及游戏制作、以及计算机操作方面表现出显著优势。OpenAI在模型发布资料中也介绍了Astra的案例:它成功创建了汽车3D模型,编写了计算轮胎和悬挂系统运动的Python程序,并利用Blender完成了动画制作。

长期任务中暴露的问题

Brown指出,在请求为游戏《Outer Wilds》创建新区域后,经过约两小时的处理,Astra停止了工作并询问应将审核流程的结果保存为“24_g521.mp4”还是“24_p11.mp4”。Brown认为,这是模型在要求用户提供其无法知晓的内部信息,属于不当提问。

他表示,在使用GPT-5.6 Sonnet和Codex时从未遇到过此类情况。这种在长期工作中突然停止并要求澄清细节的行为,是导致他不推荐Astra的原因之一。

此外,他对模型的解释方式也提出了批评。当被问及为何在单台计算机上项目构建速度较慢时,Astra详细解释了包管理工具pnpm的内部机制和缓存原理;而Opus 5.5则直接指出了存储速度的原因。

Brown透露,自己现在习惯在完成Astra的长任务后,再让Opus 5.5提供易于理解的摘要。这体现了对模型最终输出质量与其向用户解释过程能力的分别评估。

在将TypeScript项目重写为Rust的任务中,Brown再次测试了Astra。据他描述,之前的模型测试耗资超过30万美元(约合4.5亿韩元)却未取得进展,而Opus仅花费2万美元(约合2670万韩元),便在两周内完成了工作。相比之下,Astra在同一项目中工作了7天却未带来任何改进,编译器速度反而下降了56%。即便指示其专注于性能优化,再运行4天后仍无任何变更。

其他开发者的反馈与OpenAI的回应

开发者兼初创公司CEO Flavio Adamo也在帖子中表示:“Astra是一个不错的模型,但我目前不会将其作为主力工具。”尽管他高度认可Astra的3D性能,但在实际开发工作中,他依然回归使用Opus 5.5。

Adamo解释说,在现有网页中添加新元素时,Astra有时会不遵循原有的设计风格。如果不明确指定所需的设计规范,模型往往会按照自己的风格进行处理。

OpenAI在发布资料中回应称,Astra在修改现有代码库和测试方面的能力有所提升。同时,OpenAI确认在Astra和Sonnet的评估中,模型存在未能报告阻碍工作的问题(如文件丢失或搜索工具故障)的倾向。为此,OpenAI已向Codex添加了指令,以减少此类问题报告的遗漏。

Brown所提出的案例涉及模型因询问未知细节而中断工作,这与OpenAI所述的“问题报告遗漏”有所不同。Brown承认自己可能反应过度,并表示希望自己是错的。