2026-10-05
用20瓦跑赢GPU:一位博士想甩开反向传播重造AI计算
YC Paper Club 上,深度学习老兵 Francois Chaubard 回顾了 NVIDIA 芯片十余年的路线转向,并抛出零阶优化与 SOMA 架构等替代反向传播的实验性方案,重新追问 AI 计算该长什么样子。
YC Paper Club 上,深度学习老兵 Francois Chaubard 回顾了 NVIDIA 芯片十余年的路线转向,并抛出零阶优化与 SOMA 架构等替代反向传播的实验性方案,重新追问 AI 计算该长什么样子。
研究人员提出SharpZO混合优化方法,解决资源受限边缘设备上视觉语言模型微调难题。该方法采用双阶段优化:全局探索阶段使用进化策略平滑损失景观,局部搜索阶段使用零阶优化抑制梯度估计异常值。实验显示,相比传统前向传播方法,...