由来 | OpenAI

编译程序 | 黄楠

编写 | 陈彩娴

大中型神经元网络是现阶段人工智能领域的热点话题之一，那样，如何训练大模型？

近期，曾发布规模性预练习模型 GPT-3 的 OpenAI 发布了一篇博闻，介绍了根据 GPU 的四种节约运行内存的并行训练法，分别是：

数据信息并行——在不一样的 GPU 上运作同一批的不一样子集合；

生产流水线并行——在不一样的 GPU 上运作模型的不一样层；

张量并行——溶解单独计算的数学课计算，比如将矩阵乘法分拆到 GPU 上；

权威专家混和（MOE）——仅根据每层的一小部分解决每一个实例。

图注：三层模型上各种各样并行对策，每一种颜色代表一层，斜线隔开不一样的 GPU。

1

数据信息并行

「数据信息并行练习」代表着将同样的参数复制到好几个 GPU（一般称之为“workers”），并且为每一个 GPU 划分不一样的实例以与此同时解决。

仅仅的数据信息并行规定模型配对单独 GPU 运行内存，但如果你运用好几个 GPU 计算时，成本是储存参数的众多团本。但是，话虽如此，有一些对策能够提升 GPU 可以用的合理 RAM，比如，在多次应用中间，可将参数临时卸载掉到 CPU 运行内存。

伴随着每一次数据信息并行 worker 升级其参数团本，他们要互相配合，以保证每一个 worker 都再次具备类似的参数。有效的方法是在 worker 中间引进「堵塞通讯」：

流程 1：单独计算每一个worker上的梯度；

流程 2：将不一样 worker 的梯度均值；

流程 3：在每一个 worker 上单独计算同样的新参数。

流程 2 是一个堵塞均值，它必须传送大量数据（与 worker 总数乘于参数尺寸正相关），这可能会危害练习的货运量。有各种各样多线程同歩计划方案能够解决这类耗损，但会危害学习效果；因而结合实际，大家广泛坚持不懈同歩方式。

2

生产流水线并行

在生产流水线并行练习中，学者会将模型的次序块区划到 GPU 上，每一个 GPU 只储存一小部分参数，因而，同样模型的每一个 GPU 耗费的运行内存按比例降低。

将大中型模型拆分成持续层的块非常简单，但因为层的输入和输出中间存有次序依存关系，因而，在 worker 等候前一台设备的导出作为其键入时，一个天真的实行可能会致使发生很多空闲时间。这种等待的时间块被称作「泡沫塑料」（bubbles），即浪费了本可以由空余设备来进行的计算。

图注：一个简单生产流水线并行设定插画图片，在其中，模型被竖直分为 4 个系统分区。worker 1 组织第一层的模型参数（最接近键入），而 worker 4 组织第 4 层（最接近导出）。“F”、“B”和“U”各自意味着精子活动率、后向和升级实际操作。字符会标示在哪一个 worker 上运作实际操作。因为次序依赖感，数据信息一次由一个 worker 解决，造成产生了很多的空闲时间“泡沫塑料”。

我们可以器重数据信息并行的念头，根据让每一个 worker 一次只解决数据元素的一个子集合，来减少造成时长泡沫的成本费，进而使我们能恰当地将新计算与等候时间重叠。核心内容是，将一个批号拆分成好几个微批号，每一个微批号的响应速度都应该成比例地加速，而且每一个 worker 在下一个微批号可以用时马上开始工作，进而加速管路实行。拥有充分的微批号， worker 能够在大部分时间被运用，而且在流程开始与结束时「泡沫塑料」最少。梯度在微批号中间开展均值，同时只能在全部微批号完成后才能升级参数。

模型分拆的 worker 总数一般称之为「管路深层」（pipeline depth）。

在前向传送期内，worker 只需要将其层块的导出（称之为「激话」）发给下一个 worker；在反方向传送期内，它仅将这种激话的梯度发给前一个工作员。怎样分配这种安全通道及其怎样跨微批号汇聚梯度有较大的设计空间。比如，方式 GPipe 是让每一个工作中过程持续往前和向后传送，随后在最后同歩汇聚来源于好几个微批号的梯度；而 PipeDream 会分配每一个 worker 更替解决的精子活动率和后向安全通道。

图注：GPipe 和 PipeDream 生产流水线计划方案的较为，每次应用 4 个微批号。微批号 1-8 相匹配于2个持续的数据信息批号。图上“number”表明在哪一个微批号上实际操作，字符标识 worker ID。留意，PipeDream 根据应用老旧参数实行一些计算来获取更高的高效率。

3

张量并行

管路并行性将模型逐级“竖直”分拆，还可以在一个层内“水准”分拆一些实际操作，这一般称之为张量练习。

针对很多当代模型（比如Transformer），计算短板是由激话批处理命令引流矩阵与大权重值矩阵相乘。矩阵乘法能够认为是成对的列和行中间的点积；能够在不一样的 GPU 上计算单独的点积，或是在不一样的 GPU 上计算每一个点积的一部分并汇总结论。不管使用哪一种对策，我们都可以将权重值引流矩阵分割成尺寸均匀的“残片”，将每一个残片代管在不一样的 GPU 上，并运用该残片计算全部矩阵乘积的有关一部分，然后再开展通讯以组成结论。

一个实例是Megatron-LM，它在 Transformer 的自专注力和 MLP 层内并行化矩阵乘法。PTD-P应用张量、数据信息和生产流水线并行，其生产流水线生产调度为每一个机器设备分派了好几个不连续的层，以提升通信网络为结果来降低泡沫塑料耗损。

有时候，互联网键入能够跨层面并行化，相对于交叉式通讯具备髙度的并行计算。编码序列并行就这样一种念头，在其中键入编码序列在时间上被分为很多个子实例，根据容许计算继续进行更粗粒度的实例，来按比例降低最高值运行内存耗费。

4

权威专家混和 (MoE)

应用权威专家混和（MoE）方式，仅有小部分互联网用以计算任何一个键入的导出。

一个实例方法是有着多个权重值，而且互联网可在逻辑推理时根据自动门体制挑选要应用的权重新组合，这能在不提升计算成本费的情况下开启大量参数。每一组权重值都被称之为“权威专家”，且期待互联网能懂得为每一个权威专家分派专业的计算和专业技能。不一样的医生能够组织不一样的 GPU ，进而提供了一种清晰的形式来扩张用以模型的 GPU 总数。

图注：自动门互联网只选择了n个权威专家中的2个。

GShard 将 MoE Transformer 的参数拓展到 6000 亿次参数，在其中仅将 MoE 层分拆到好几个 TPU 机器设备上，别的层则彻底拷贝。Switch Transformer 经过将一个键入路由器到单独权威专家，将模型尺寸拓展到数万亿个参数，具备更高的稀少性。

5

别的节约运行内存的设计方案

也有很多其它的计算对策，可以使练习越来越大的神经元网络更容易解决。比如：

要计算梯度，必须储存初始激话，这会耗费很多机器设备 RAM。控制点（也称之为激话再次计算）储存激话的一切子集合，并在反方向传送期内，立即再次计算正中间的激话，以较多一个附加详细精子活动率传送的计算成本费，节约了很多运行内存。大家可以利用可选择性激话再次计算，来持续衡量计算和运行内存成本费，这也是对激话的子集合进行检查，其储存成本费相对性比较高，但计算成本费较低。

混和精密度练习是应用较低精密度的数据（最常见的是FP16）来练习模型。当代网络加速器可以使用较低精密度的数据做到更高的 FLOP 记数，而且还能节约机器设备 RAM。在恰当的照料下，造成的模型基本上可以不损害一切精密度。

卸载掉是由未使用的数据信息临时性卸载掉到 CPU 或不一样机器设备中间，在须要时将其读回。孩子气的实行会大大的缓减练习速率，但繁杂的实现方式会事先读取数据，使机器设备始终不用等候。这一念头的一个完成是ZeRO，它可将参数、梯度和优化器情况切分到全部可以用的硬件设备上，并按照要将他们细化。

Memory Efficient Optimizers早已提出了运行内存高效率优化器，以降低优化器所维系的运行状态的内存占用，比如Adafactor。

缩小也适合于储存互联网中的正中间结论。比如，Gist缩小为后向传送而保留的激话；DALL-E在同歩梯度以前缩小梯度。

参照连接：

https://openai.com/blog/techniques-for-training-large-neural-networks/

雷峰网