随着NVIDIA平台持续探索Blackwell Ultra GPU和Blackwell GPU架构的极限潜力，这些推理性能的天花板会不断被捅破。 图1. 在NVL8配置下运行TensorRT-LLM软件的NVIDIA B200 ...

在全球AI技术竞赛的激烈舞台上，科技巨头们正拼尽全力加大对基础技术的投资，致力于开发支撑现代AI系统的核心算法库，以在竞争中占得先机。这些工程师们通常需要编写成千上万行代码，以尽可能挖掘硬件的性能潜力，形成一种难以逾越的技术壁垒。

性能表现 DeepGEMM 在各种计算场景下表现出色。 对于标准矩阵乘法，与基于 CUTLASS 3.6 的优化实现相比，速度提升 1.0 到 2.7 倍不等。小批量数据处理 ...

在激烈的全球 AI 技术竞赛中，科技巨头正不断加码对基础技术研发的投资力度，以期开发出能够支撑现代 AI 系统运行的核心算法库，从而在竞争中占据有利地位。 为了达到这一目标，工程师们往往需要编写数万乃至数十万行代码来最大限度地挖掘硬件的性能潜力。这种长期的技术积累不仅能够提升产品的竞争力，还能形成难以被竞争对手逾越的技术“护城河”。

近日，摩根士丹利发布研报继续聚焦具身人工智能 (Embodied AI)领域，并将目光投向了专注于为美国海军开发无人水面舰艇 (USV)的初创公司Saronic。该行表示，受机器自动化趋势、美国制造业产能不足及国防开支反思等因素影响，国防综合体的颠覆性潜力备受关注。其中，随着全球军事技术的快速发展，USV正成为未来海上防御的关键力量，而Saronic有望在未来的海上竞争中发挥重要作用。

这次放出的技术细节和实现思路有不少值得关注的亮点，尤其是在FP8计算和Hopper架构适配这两个关键方向上，体现出不少工程层面的巧思。 1. 精准定位FP8计算痛点 ...

1 月下旬，字节正式设立代号为“Seed Edge”的研究项目，目标是探索 AGI 的新方法，其中“Seed”是豆包大模型团队名称，Edge 代表最前沿的 AGI 探索。 该项目团队近日发布了其最新的研究成果：一项针对 MoE 架构的关键优化技术 ...

这一创新思路不仅借鉴了英伟达CUTLASS和CuTe的先进理念，更在此基础上进行了更为激进和轻量化的优化。 CUTLASS作为英伟达基于CUDA架构的矩阵加速库 ...

团队在致谢部分表示，FlashMLA的设计参考了FlashAttention 2&3以及CUTLASS的技术实现。 资料显示，FlashAttention 是一种针对Transformer模型注意力计算的高效 ...

为了应对 FP8 张量核心累加不精确的问题，它使用了 CUDA 核心的两级累加（提升）方法。虽然它借鉴了部分 CUTLASS 和 CuTe 的理念，但并未过度依赖它们的模板或代数结构。 DeepGEMM 的设计简洁，核心内核函数只有大约 300 行代码，方便学习 Hopper FP8 矩阵乘法和优化 ...