前OpenAI研究员Nick Cammarata指出:大型AI模型中约90%的神经元仅承担单一主要功能,这一发现对其曾参与构建的理论构成了挑战
核心观点摘要
Cammarata表示,以往被视为“纠缠不清”的神经元案例大多被误读了。一些知名研究人员认为,这些发现并未改变更宏观的研究图景。支持该主张的技术性配套论文尚未发布。
Cammarata的神经元审计分析
目前就职于可解释性实验室Goodfire的Cammarata于10月15日发表了一篇题为《神经网络已经变得清晰》(Neural Networks Are Already Clean)的文章。他在文中提出,参数规模达万亿级别的模型中,大多数神经元的功能已变得清晰可辨,这与早期研究的结论相悖。这一主张在研究人员中引发了分歧。
在对Qwen3-32B模型的初步审计中,Goodfire估计,约有90%的神经元节点具有单一的主要功能,约7%的节点承担两项相关功能,仅有2%至4%的功能尚无法解释。此次AI代理承担了大部分分析工作。
Cammarata还重新审视了该领域最著名的“多语义”神经元案例——该案例源自图像模型InceptionV1,此前被认为会同时对猫脸和车头做出反应。他现在的解读是,这实际上是一个“V形检测器”。狐狸鼻子或火焰等尖锐形状会激活它,而字母O等圆形形状则会抑制其激活状态。
Nanda对Cammarata观点的质疑
Roon(一名自称与Cammarata私交甚好的OpenAI匿名员工)写道,这项工作有望成为科学史上的里程碑。但他也谨慎地指出,其他研究人员仍需验证这些结果。
相比之下,Google DeepMind可解释性团队负责人Neel Nanda的观点更为审慎。他表示,这篇文章虽然有趣,但并未从根本上改变对整体情况的认知,并预测仅研究神经元本身将存在严重的盲点。Nanda仍然相信“叠加态”(superposition)现象确实存在,他认为语言模型所存储的事实远超其神经元数量,并对小型图像模型的结果能否推广到更大系统表示怀疑。
潜在影响与背景反转
如果Cammarata的观点成立,研究人员或许可以直接在模型的电路层面寻找欺骗行为或危险行为,而不再依赖日益难以信赖的思维链(chains of thought)。然而,技术配套论文仍未发布,且作为可解释性公司的Goodfire在该论点中显然拥有直接利益关联。
这篇文章标志着Cammarata观点的重大转变。2020年,他与Chris Olah共同撰写了《Zoom In》一文,首次提出了研究者将其解读为“叠加态”的电路概念,即神经元不足的神经网络会将无关的概念打包在一起。三年后,他在OpenAI启动的一个自动化可解释性项目发现,即使采用最宽松的标准,也只有约1.7%的神经元是可理解的。