「AI開発は、GPUをどれだけ確保できるかの勝負だ」——ニュースで巨額のデータセンター投資が報じられるたび、そう思われがちです。

しかし実際の開発現場で起きていることは少し違います。何も工夫せずにLLMを動かすと、せっかく確保した計算資源の大部分は、性能に変換されないまま捨てられてしまうのです。

LLM開発の勝敗を分けているのは、計算資源の「量」そのものではなく、それを性能へ変える変換効率です。本記事では、私たちが公開した技術資料をもとに、この考え方を数式なしで紹介します。

計算に賭けた者が勝ってきた。ただし条件がある

AIの歴史にはThe Bitter Lesson（苦い教訓）と呼ばれる有名な観察があります。人間の知恵やルールをプログラムに組み込む努力は、長期的には「大量の計算にものを言わせる」アプローチに常に負けてきた、というものです。

LLMはまさにその実証で、シンプルな仕組みに膨大な計算資源を注ぎ込むことで、驚くような能力が生まれました。

さらにスケーリング則という研究が、「計算量を増やせば性能は予測可能なかたちで伸びる」ことをデータで裏付けました。ここまで聞くと、やはりGPUを買い集めた者の勝ちに見えます。

ただし見落とされがちな条件があります。スケーリング則が語る「計算量」とは、理論上こなせるはずの演算量のことです。GPUを1万枚並べても、その理論値どおりに働かせられるかどうかはまったく別の問題であり、そこは純粋にエンジニアリングの領域なのです。

素朴に動かすと、GPUは待ち時間だらけになる

意外に思われるかもしれませんが、LLMを素朴な実装で動かしたとき、GPUの演算能力はピーク性能の一部しか使われません。

ボトルネックは計算ではなく、データの移動です。GPUは計算そのものは猛烈に速い一方、メモリからデータを出し入れする時間が相対的に遅く、「計算係が材料待ちで手を止めている」状態が頻発します。

複数のGPUを連動させると、待ち時間はさらに深刻になります。たとえばモデルを4台のGPUに分割して素朴に流すと、ある瞬間に働いているのは1台だけで、計算資源の約75%が待ち時間として消えるケースもあります。実際のサービス運用でも同様で、従来方式のメモリ管理ではGPUメモリの60〜80%が無駄になっていたという報告があります。

高価なGPUを積み上げても、中身はスカスカ——これが工夫なきLLM基盤の実態です。

変換効率という考え方

そこで鍵になるのが、物理的な計算資源を「有効な計算」へ変える割合、すなわち変換効率です。私たちはこれを3つの層で捉えています。

第一の層は、1枚のGPUを使い切ることです。データの移動を極力減らし、計算係が手を止めないように処理の段取りを組み替えます。FlashAttentionに代表されるカーネル最適化と呼ばれる技術群がここに当たります。

第二の層は、数千〜数万枚のGPUを連動させることです。モデルやデータをどう分割し、どのタイミングで通信するかを設計し、待ち時間（バブル）を徹底的に潰します。これが分散学習の世界です。

第三の層は、実際のサービスとして回し続けることです。多数のユーザーからのリクエストを賢く相乗りさせ、メモリを細かく融通し合うことで、同じ設備でより多くの応答を返します。これが分散推論の世界です。

この3層の詳細な技術解説は、公開資料[LLM計算基盤の全体像](https://speakerdeck.com/karakurist/llm-compute-infrastructure-overview)」にまとめています。

工夫だけでスループットは2〜4倍変わる

変換効率の改善は、精神論ではなく数字に表れます。

たとえば推論サービングの分野では、PagedAttentionという技術がGPUメモリの管理方法を変えただけで、60〜80%が無駄になっていたメモリの利用効率を96%以上に高めました。その結果、同じGPUで処理できるリクエスト量、つまりスループットは2〜4倍に向上します。

重要なのは、これらがGPUを1枚も追加せずに達成されている点です。ハードウェアへの投資額が同じでも、変換効率の巧拙によって、得られる性能にも、ユーザー1人あたりのコストにも、数倍の開きが生まれるのです。

私たちは変換効率こそが競争力だと考える

私たちKARAKURIは、カスタマーサポートの現場で使われ続けるAIを提供する立場から、LLMの計算基盤を自ら手を動かして研究してきました。その経験から、LLM開発の競争力の源泉は「どれだけ計算資源を持っているか」ではなく「持っている資源からどれだけ性能を引き出せるか」にあると考えています。

限られた資源で最大の価値を生む工夫は、日本のAI開発が世界と伍していくための現実的な戦い方でもあるはずです。あなたの組織のAI投資は、どれだけ性能に変換されているでしょうか。

議論のたたき台として、技術資料「[LLM計算基盤の全体像]を公開しています。詳しく知りたい方はぜひご覧ください。