本文提出了一种新的低秩适应(LoRA)变体 - GoRA(Gradient-driven Adaptive Low Rank Adaptation)，通过梯度信息来自适应地分配秩和初始化低秩适配器的权重。该方法在保持LoRA高可用性和效率的同时显著提升了模型性能。 现有问题 秩的选择问题：LoRA的性能很大程度上取决于秩 ...