当然，不看好归不看好，不妨碍我们的学习和分析。要想寻找 Normalization 的替代或者说近似，最直接的思路就是从梯度入手，因为深度学习说到底也就是前向传播和反向传播那点事，反向传播也就是求梯度，往往扮演着比较本质的角色。

在斯坦福，有一门专门讲 Transformer 的课程，名叫 CS 25。这门课曾经邀请过 Geoffrey Hinton、Andrej Karpathy 以及 OpenAI 的 Hyung Won Chung、Jason Wei ...

设计高效和有效的架构骨干，一直是增强基础模型能力的核心研究方向。受注意力偏差这一人类认知现象的启发——优先考虑某些事件或刺激的自然倾向—— Google Research 团队将神经架构（包括 Transformers、Titans 和现代线性递归神经网络）重新概念化为关联记忆模块，通过内部目标（即注意力偏差）学习键值映射。