当然，不看好归不看好，不妨碍我们的学习和分析。要想寻找 Normalization 的替代或者说近似，最直接的思路就是从梯度入手，因为深度学习说到底也就是前向传播和反向传播那点事，反向传播也就是求梯度，往往扮演着比较本质的角色。

在斯坦福，有一门专门讲 Transformer 的课程，名叫 CS 25。这门课曾经邀请过 Geoffrey Hinton、Andrej Karpathy 以及 OpenAI 的 Hyung Won Chung、Jason Wei ...

设计高效和有效的架构骨干，一直是增强基础模型能力的核心研究方向。受注意力偏差这一人类认知现象的启发——优先考虑某些事件或刺激的自然倾向—— Google Research 团队将神经架构（包括 Transformers、Titans 和现代线性递归神经网络）重新概念化为关联记忆模块，通过内部目标（即注意力偏差）学习键值映射。

Transformers Rectifiers的财务健康状况根据公司超100多个因子相比发展中市场中工业行业内其他公司的排名确定。

微软本周发布20亿参数的1-bit模型BitNet b1.58 LLM家族，称此新型模型比主流Transformer LLM更不占内存且更少能耗，适合在CPU或较小型硬件平台上执行。 微软研究院与中国科学院研究人员2023年发布名为《BitNet: ...