在深度学习革命的发展历程中,有一个明确的架构原则定义了一个时代:更深的网络胜过更宽的网络。

早期的神经网络设计往往专注于通过增加单元来拓宽浅层网络。然而,增加深度(按顺序叠加层级)却释放出远超预期的容量提升。每增加一层,网络就能通过转换前一层的输出,构建出更加复杂精细的表征。这种层级化的表征学习能力,正是深度学习模型能够处理图像物体识别、语音识别等此前难以攻克的复杂任务的关键所在。

如今,标准神经网络架构在很大程度上仍然依赖这两个基本维度:宽度和深度。

在 Perforated,我们正在引入第三个维度:高度。

第三维度:构建"更高"的网络

Perforated 训练方法可以被理解为超越传统的深度与宽度二维网格。通过引入第三个维度,我们将一类新的单元(我们称之为树突)定位在传统网络单元的"上方"层级。

高度维度是如何改变这一方程式的:

定向支持:树突被放置在常规单元之上,并经过单独训练,用以观察和反馈位于其下方单元的运行表现。

可叠加的容量:这些树突可以不断向上叠加,形成一个垂直层级结构,为最底层的主要单元带来持续累积的性能提升。

这种训练方法使我们能够训练出可以媲美甚至超越更大规模模型性能的小型模型。

Perforated 训练的底层运作原理

我们并非以固定的架构和参数数量来训练模型,而是在整个训练过程中策略性地扩展神经网络。通过以不同于网络其余部分的方式训练新单元,并且只在必要时才添加这些单元,我们确保这些参数能够比"常规"单元带来更大幅度的网络性能提升。

网络中的主要单元接受常规训练。

与此同时,新的单元(树突)被单独训练,直接针对现有单元进行优化和支持,系统性地降低其平均训练误差。

训练完成后,这些支持性单元会被整合进网络中,从而提升它们所辅助单元的表征质量。

正如当今深度学习依赖于一整套复杂机制(优化器、学习率调度、归一化层、正则化以及梯度诊断工具)一样,Perforated 训练方法也涵盖了一整套广泛的工程技术,以确保训练性能与效率。

解决一个困扰业界40年的扩展难题

在训练过程中动态添加参数的尝试并非新鲜事。计算机科学家们已经对构造性神经网络算法进行了数十年的探索。然而,这些算法大多难以扩展应用到现代深度学习的工作负载当中。

Perforated 是首个使构造性训练能够扩展到当今超大规模模型的范式。通过沿着高度这一维度来构建参数添加机制,我们建立了一类全新的数据高效训练方法。

我们已经在真实环境中验证了这些成果:

可靠的可扩展性:已成功应用于多个生产环境中的客户模型。

架构通用性:在多种不同的模型架构上均得到验证。

企业级执行能力:在企业级规模的模型上证明了其性能表现。

通过将关注点从单纯扩展模型宽度或深度,转向主动改善现有特征表征,我们正在数据效率和模型容量方面释放出显著的提升空间。

迪恩·阿尔德鲁奇

Perforated 技术团队 - 机器学习架构负责人

Edge AI and Vision Alliance - Latest News