资讯

腾讯网1 个月
清华稀疏Attention，无需训练加速一切模型！
1. 清华大学陈键飞团队提出了无需训练可直接使用的稀疏Attention（SpargeAttn），实现4-7倍相比于FlashAttention的推理加速。 2. SpargeAttn在语言、视频 ...