内存受限设备上的视觉语言模型高效微调新方法

研究人员提出SharpZO混合优化方法，解决资源受限边缘设备上视觉语言模型微调难题。该方法采用双阶段优化：全局探索阶段使用进化策略平滑损失景观，局部搜索阶段使用零阶优化抑制梯度估计异常值。实验显示，相比传统前向传播方法，...