/
零阶优化 关键字列表
内存受限设备上的视觉语言模型高效微调新方法
研究人员提出SharpZO混合优化方法，解决资源受限边缘设备上视觉语言模型微调难题。该方法采用双阶段优化：全局探索阶段使用进化策略平滑损失景观，局部搜索阶段使用零阶优化抑制梯度估计异常值。实验显示，相比传统前向传播方法，准确率提升最高7%，收敛速度显著加快，同时避免梯度存储大幅降低内存占用。
白皮书
/
研究人员提出SharpZO混合优化方法，解决资源受限边缘设备上视觉语言模型微调难题。该方法采用双阶段优化：全局探索阶段使用进化策略平滑损失景观，局部搜索阶段使用零阶优化抑制梯度估计异常值。实验显示，相比传统前向传播方法，准确率提升最高7%，收敛速度显著加快，同时避免梯度存储大幅降低内存占用。
北京第二十六维信息技术有限公司（至顶网）版权所有. 京ICP备15039648号-7
京ICP证161336号
京公网安备 11010802021500号
举报电话：010-62641205-5060 涉未成年人举报专线：010-62641208 举报邮箱：jubao@zhiding.cn
网上有害信息举报专区：https://www.12377.cn
