如何让训练更快：GPU 算力评估

我们反过来想，训练时间的长短由什么决定。如果直观来考虑，可以得出如下公式： 

但我们需要细化决定因素。 

在深度学习训练中，训练时间的算涉及到多个因素，包括 Epochs 数量、全局批次大小（Global Batch Size）、微批次大小（Micro Batch Size）以及计算设备的数量等。以下是这些参数之间关系的一个基本公式（注意只是一个基本示意公式，主要解释正比反比，实际训练需要考虑的因素可能更多）： 

其中——

· Epochs 是指模型处理整个训练数据集的次数。 

· Total Number of Samples 是训练数据集中的样本总数。 

· Global Batch Size 是在每次训练迭代中处理的数据样本总数。 

· Time per Step 是每次训练迭代所需的时间，这取决于硬件性能、模型复杂性、优化算法等因素。 

· Number of Devices 是进行训练的计算设备数量，例如 GPU 数量。 

这个公式提供了一个基本的框架，但请注意，实际的训练时间可能会受到许多其他因素的影响，包括 I/O速度、网络延迟（对于分布式训练）、CPU-GPU 通信速度等。因此，这个公式只能作为一个粗略的估计，实际的训练时间可能会有所不同。 

我们再细化上面的内容。

深度学习模型的训练时间由多个因素决定，包括但不限于以下几点： 

决定训练时间长短的因素有很多，需要根据具体的训练任务和环境来综合考虑。 

那么，在这个公式中， 

time per step 应该理解成主要和 GPU 的硬算力相关。 

“Time per Step”，即每次训练 step 所需的时间，是由多个因素决定的，包括但不限于以下几点： 

那么 total training steps 由什么决定的呢？ 

“Total Training Steps”是由训练的 Epochs 数量和每个 Epoch 中的 Steps 数量决定的。具体来说，它等于 Epochs 的数量乘以每个 Epoch 中的 Steps 数量。这可以用以下公式表示： 

那么，Global batch size 由什么决定？

global_batch_size = 
 gradient_accumulation_steps 

* nnodes （节点数） 

* nproc_per_node （每个节点卡数） 

* per_device_train_batch_si（micro bs大小） 

假设一个场景： 

batch_size = 10 #每批次大小 total_num = 1000 #训练数据总量 按照训练一个批次数据，更新一次梯度（梯度累计为1）； 

训练步数 train_steps = 1000 / 10 = 100，也就是说此时 Steps per Epoch为100  

梯度更新步数 = 1000 / 10 = 100 

还需要考虑梯度累计的情况，比如当显存不足以支持每次 10 的训练量，就需要需要减小  batch_size。 

通过设置 gradient_accumulation_steps = 2 

batch_size = 10 / 2 =5 

即训练2个批次数据，更新一次梯度，每个批次数据量为5（减小了显存压力，但未改变梯度更新数据量–10个数据一更新） 

结果：训练步数 tran_steps = 1000 / 5 = 200 增加了一倍，也就是说 Steps per Epoch为200 。

梯度更新步数 1000 / 10 = 100 未改变，当设置了梯度累计，每一步都需要处理来自多个微批次的梯度累积，这可能会稍微增加每一步的计算时间。因此，出于控制训练步数不增加的目的，在内存充足的情况下，通常增加微批次大小是更好的选择。当内存不够时，才选择使用梯度。

全局批次大小对模型的训练效果有重要影响。一般来说，较大的全局批次大小可以提供更准确的梯度估计，从而有助于模型的收敛。然而，较大的全局批次大小也会增加每个设备上的内存压力。如果内存资源有限，可能无法使用较大的全局批次大小进行训练。 

这时，我们可以使用梯度累积的策略。通过梯度累积，我们可以在每个设备上使用较小的微批次大小进行训练，从而减小内存压力，同时保持较大的全局批次大小，以获得准确的梯度估计。这样，我们就可以在有限的硬件资源上训练大型模型，而不需要牺牲全局批次大小。 

总的来说，梯度累积是一种权衡策略，用于在内存资源有限的情况下，平衡全局批次大小和训练效果。 

所以说，如果从这两个公式看： 

Global batch size 越大，总训练时间就越小。前提是不出现 OOM 和 GPU 算力占满。这也是之前文章提到的 H20 增加内存大小、内存带宽、NVL的原因之一。