チューリング、AI開発基盤としてGPUクラスタシリーズ「Gaggle Cluster」の構築に着手

今回構築する最初のクラスタ「Gaggle-Cluster-1」は、96基のNVIDIA H100 GPUを搭載し、総計算能力は190PFLOPSとなる。システム全体として2024年前半の稼働開始を目指しているという。Gaggle-Cluster-1は多数のGPUサーバーで構成されているだけでなく、サーバー間の通信帯域及びストレージ速度を最大限に確保し、これによりクラスタ全体を「単一の計算機」として大規模な学習タスクに最適化させることが特徴だ。分散並列学習技術を活用することにより、LLMを含む非常に大規模なパラメータのモデルを高速かつ効率的に学習させることが可能になるとのことだ。