最近，Claude 大模型团队发布了一篇名为《Tracing the thoughts of a large language model》（追踪大型语言模型的思维）的文章，深入探索大模型在回答问题时的内部机制，带我们了解它是如何 “思考”、推理的，以及为何偶尔会给出与事实不符的答案。这一研究就像是给大模型做了一次 “开盒”，让我们得以窥探其神秘的 “大脑” 运作方式。

通过多种干预实验，如抑制规划特征或注入不同的规划词，证实了规划特征对最终词概率、中间词和句子结构的影响。 这些特征相互作用，形成从 “Dallas” 到 “Texas” 再到 “Austin” 的推理路径，同时也存在从 “Dallas” 直接到 ...

而且它整出来的建模效果可信任，有人亲测表示，让它设计火星地形，Claude可以自己处理错误和问题，并且会告知人类。 怪不得有人看了直呼 ...