1. 开源微调神器Unsloth优化了DeepSeek-R1同款GRPO训练算法,上下文变长10倍,显存需求减少90%。 3. 为此,Unsloth通过全新设计的内存高效线性算法、利用torch.compile和智能梯度checkpoint算法等多项技术实现显存节省。
IT之家 3 月 17 日消息,摩尔线程官方今日发文宣布, 已正式开源 MT-MegatronLM 与 MT-TransformerEngine 两大 AI 框架 。这两大框架通过深度融合 FP8 混合训练策略和高性能算子库,在国产全功能 GPU 上实现混合并行训练和推理,提升了训练效率与稳定性。
当前正在显示可能无法访问的结果。
隐藏无法访问的结果