随着NVIDIA平台持续探索Blackwell Ultra GPU和Blackwell GPU架构的极限潜力，这些推理性能的天花板会不断被捅破。 图1. 在NVL8配置下运行TensorRT-LLM软件的NVIDIA B200 ...

性能表现 DeepGEMM 在各种计算场景下表现出色。 对于标准矩阵乘法，与基于 CUTLASS 3.6 的优化实现相比，速度提升 1.0 到 2.7 倍不等。小批量数据处理 ...

尽管它借鉴了 CUTLASS 和 CuTe 的一些概念，但避免了对其模板或代数的重度依赖。相反，该库的设计注重简洁性，仅包含一个核心内核函数，代码量仅 ...

为了解决FP8张量核在累加计算时的精度问题，该库采用了基于CUDA核心的两级累加（提升）技术。 虽然DeepGEMM借鉴了CUTLASS和CuTe的一些概念，但避免了过度依赖它们的模板或代数系统。 相反，该库追求设计简洁，仅包含一个核心内核函数，代码量仅约300行。