Transformers documentation
並列化手法
並列化手法
マルチGPU構成は、トレーニングの高速化や、単一のGPUに収まらない大規模モデルをメモリに収めるために有効です。これは、ワークロードをGPU間で並列化することに基づいています。並列化には、データ並列、テンソル並列、パイプライン並列、モデル並列など、いくつかの種類があります。各並列化の種類は、データかモデルかによって、ワークロードを異なる方法で分割します。
このガイドでは、さまざまな並列化手法、それらの組み合わせ、およびセットアップに適した戦略の選択について説明します。分散学習の詳細については、Accelerateのドキュメントを参照してください。
大規模言語モデルのスケーリングに関する包括的なガイドとして、Ultrascale Playbookをご参照ください。大規模なトレーニングにおける詳細な戦略とベストプラクティスが記載されています。
スケーラビリティ戦略
Model Memory Calculatorを使用して、モデルに必要なメモリ量を計算します。次に、以下の表を参照して、ご自身の環境に基づいて戦略を選択してください。
| セットアップ | シナリオ | 戦略 |
|---|---|---|
| 単一ノード/マルチGPU | 単一GPUに収まる | DistributedDataParallelまたはZeRO |
| 単一のGPUに収まらない | PipelineParallel、ZeROまたはTensorParallel | |
| 最大サイズのモデルレイヤーが収まらない | TensorParallel または ZeRO | |
| マルチノード/マルチGPU | ノード間を高速に接続する機能(NVLink または NVSwitch) | ZeROまたは3D並列化(PipelineParallel、TensorParallel、DataParallel) |
| ノード間の接続が遅い | ZeROまたは3D並列化(PipelineParallel、TensorParallel、DataParallel) |
データ並列
データ並列性では、データを複数のGPUに均等に分散します。各GPUはモデルのコピーを保持し、割り当てられたデータ部分を並行して処理します。処理が完了すると、各GPUの結果が同期され、統合されます。
データ並列化はデータを並列に処理することでトレーニング時間を大幅に短縮し、利用可能なGPUの数に応じてスケーラブルです。ただし、各GPUからの結果を同期する際にオーバーヘッドが発生する可能性があります。
データ並列性には、DataParallel(DP)とDistributedDataParallel(DDP)の2種類があります。
DataParallel
DataParallelは、複数GPUを備えた単一のマシンでの分散学習をサポートしています。
- デフォルトのGPUである
GPU 0がバッチのデータを読み取り、そのミニバッチを他のGPUに送信します。 - 最新の状態のモデルが
GPU 0から他のGPUに複製されます。 - 各GPUで
forwardパスが実行され、その出力はGPU 0に送信されて損失が計算されます。 backwardパスにおいて、損失はGPU 0から他の GPU に分散されます。- 各GPUからの勾配は
GPU 0に送り返され、平均化されます。
DistributedDataParallel
DistributedDataParallel は、複数 GPU を備えた複数マシンにまたがる分散学習をサポートしています。
- メインプロセスは、デフォルトのGPUである
GPU 0からモデルを各GPUに複製します。 - 各GPUは、ミニバッチのデータを直接処理します。
backwardパス中に、ローカル勾配はすべての GPU で平均化されます。
DDPは、GPU間の通信オーバーヘッドを削減し、各GPUを効率的に活用でき、1台以上のマシンにスケールできるため、推奨されています。
ZeRO データ並列
Zero Redundancy Optimizerは、よりメモリ効率の高いデータ並列の一種です。パラメータ、勾配、オプティマイザの状態をデータ並列プロセス間で分割することでメモリ使用量を削減し、メモリ効率を大幅に向上させます。ZeROには3つのステージがあります。
- Stage 1では、オプティマイザの状態が分割されます
- Stage 2では、オプティマイザの状態と勾配の状態を分割します
- Stage 3では、オプティマイザ、勾配、パラメータを分割します

モデル並列
モデル並列処理では、モデルを複数のGPUに分散します。モデルを分割する方法はいくつかありますが、一般的な手法では、モデルのレイヤーをGPU間で分散します。forwardパスでは、最初のGPUがデータの一バッチを処理し、次のGPU上の次のレイヤー群に渡します。backwardパスでは、データが最終レイヤーから最初のレイヤーへ逆方向に送信されます。
モデル並列化は、単一のGPUのメモリに収まらないほど大きなモデルを学習させるための有用な戦略です。ただし、一度にアクティブなGPUが1つだけであるため、GPUの利用率が偏ってしまいます。また、GPU間で結果をやり取りする際に通信オーバーヘッドが発生し、ボトルネックとなる可能性があります。
パイプライン並列
パイプライン並列化は、モデル並列化と概念的に非常に似ていますが、アイドル状態のGPU時間を削減できるため、より効率的です。各GPUがデータバッチの処理を完了するのを待つのではなく、パイプライン並列化ではデータのマイクロバッチを作成します。あるマイクロバッチの処理が完了すると、すぐに次のGPUに引き継がれます。これにより、他のGPUがミニバッチの処理を完全に完了するのを待たずに、各GPUがデータの一部分を並行して処理できます。
パイプライン並列化はモデル並列化と同じ利点を持ちますが、GPU の利用効率を最適化し、アイドル時間を短縮します。ただし、モデルを nn.Sequential モジュールのシーケンスとして書き直す必要がある場合があるため、パイプライン並列化はより複雑になる可能性があります。また、最後の forward パスも backward パスの完了を待たなければならないため、アイドル時間を完全に削減することはできません。
テンソル並列
Tensor parallelism は、大規模なテンソル計算を複数の GPU に分散して実行します。テンソルは水平方向または垂直方向にスライスされ、各スライスが別の GPU で処理されます。各 GPU は自分のテンソルスライスに対して計算を実行し、最後に結果を同期して最終的な結果を再構築します。
Tensor parallelismは、1つのGPUのメモリに収まらない大規模モデルの学習に有効です。各GPUが自身のテンソルスライスを並列に処理できるため、より高速かつ効率的であり、他の並列化手法と組み合わせることも可能です。ただし、他の並列化手法と同様に、GPU間の通信オーバーヘッドが発生します。
推論での使用方法については、テンソル並列性ガイドを参照してください。
ハイブリッド並列
並列化手法を組み合わせることで、さらに大きなメモリ削減を実現し、数十億パラメータを持つモデルをより効率的に学習させることができます。
データ並列性とパイプライン並列性
データ並列とパイプライン並列では、データをGPU間で分散し、各ミニバッチをマイクロバッチに分割することでパイプライン並列を実現します。
各データ並列ランクは、2つのGPUではなく1つのGPUしかないかのようにプロセスを扱いますが、GPU 0と1は、データのマクロバッチをGPU 2と3にオフロードして、アイドル時間を短縮できます。
このアプローチは、GPUのアイドル状態を削減することで、並列データ処理を最適化します。

ZeROデータ並列性、パイプライン並列性、モデル並列性(3D並列性)
データ並列性、パイプライン並列性、モデル並列性を組み合わせることで3D並列性を構成し、メモリと計算の効率を最適化します。
メモリ効率の向上は、モデルを複数のGPUに分割し、さらにステージに分割してパイプラインを構築することで実現されます。これにより、GPUがデータのマイクロバッチに対して並列で処理を行うことができ、モデル、オプティマイザー、アクティベーションのメモリ使用量を削減できます。
計算効率の向上は、ZeROデータ並列性によって実現されます。この方式では、各GPUはモデル、オプティマイザ、アクティベーションのスライスのみを保存します。これにより、データ並列ノード間の通信帯域幅を高く保つことができ、通信は他のパイプラインステージと独立して、または並行して実行できます。
このアプローチは、パラメータ数が兆単位に達する極めて大規模なモデルにもスケーラブルです。
