大規模言語モデルのトレーニングとサービス提供の仕組み：数理的な解説
Reiner Pope氏による大規模言語モデル（LLM）のトレーニングとサービス提供に関する黒板を使った講義形式の解説動画が公開されました。API価格や公開されている数式から、AIラボの内部情報を推測できる点が驚くべきです。講義では、Transformerモデルの処理時間、MoEモデルのGPUへの配置、パイプライン並列処理、そしてRL（強化学習）による過剰なトレーニングなどの要素が数式を用いて解説されています。また、バッチサイズがコストと速度に与える影響や、メモリ帯域幅と計算性能の関係についても詳しく説明しています。