/
低秩自适应 关键字列表
优化LoRA目标模块选择实现高效微调
本研究通过在Amazon Nova 2.0 Lite多模态推理大模型上进行全面消融实验，系统分析了LoRA微调中不同目标模块配置对性能和效率的影响。实验涵盖七个数据集的文本和视觉任务。研究发现o_proj模块作为单一目标表现最为稳健，在准确性和延迟间实现最佳平衡。对于追求最高准确性的场景，推荐使用o_proj + fc2组合配置，相比o_proj单独使用可提升2-12%性能。该研究为标准化LoRA配置提供了原则性指导。
白皮书
京公网安备 11010802021500号
