LLMの学習コストは、『GPU前提』をやめると半分になる

公開日：

2026/7/9

最終更新日：

2026/7/8

tags：

LLM（大規模言語モデル）

「LLMを自前で学習するなら、NVIDIAのGPUを確保するしかない」——AI開発の現場では、これはほとんど疑われることのない前提です。GPUの調達競争が報じられるたび、その前提はますます強固になっていきます。しかし私たちは2023年から、あえて別の道を選んできました。AWSの学習専用チップAWS Trainiumの上で、日本語LLMを作り続けてきたのです。

結果から言えば、学習コストは同規模のGPU学習と比べて約半分。しかもLlama 2 70BでのLLM学習を世界で初めて公開事例化して以来、3年間でリリースしたモデルは8つ（オープンモデル6つと、Upstage社と共同開発した『Syn』シリーズ2つ）にのぼります。本記事では、その歩みと学びを解説します。

なぜ『GPU以外』に賭けたのか
3年間で8つのモデルをTrainiumから世に出してきた
移植の実態——中核を担ったのは1人のエンジニア
画面を操作するAIから、ロボットを動かすAIへ
私たちは、計算基盤の選択も競争力だと考える

なぜ『GPU以外』に賭けたのか

2023年当時、LLMの学習環境は深刻なGPU不足の中にありました。調達には長い待ち時間と高いコストがかかり、スタートアップが継続的にモデルを学習し続けるには重すぎる負担でした。

そこで私たちが目をつけたのが、AWSが機械学習の学習専用に設計したチップ、Trainiumです。理論上のコスト効率は魅力的でしたが、当時、大規模言語モデルの学習をTrainiumでやり切った公開事例は世界のどこにもありませんでした。GPUの世界で当たり前に使えるソフトウェア資産がそのままでは動かない環境で、70Bクラスのモデルが本当に学習できるのか。誰も答えを持っていない問いに、私たちは実際に手を動かして答えることにしました。

3年間で8つのモデルをTrainiumから世に出してきた

最初の挑戦は2023年、Llama 2 70Bでした。独自の学習手法を編み出しながら、TrainiumでのLLM学習を世界で初めて公開事例として成立させました。ここで得たノウハウが、その後のすべての土台になります。

2024年には、ツール利用に特化したMixtral 8x7Bベースのモデルを学習し、国内初のエージェント特化型モデルとして公開しました。2025年に入ると、日本語で思考の過程を組み立てる推論モデル（QwQ 32Bベース）、Upstage社と共同開発したSynシリーズの2モデルと続きます。Synは10Bクラスの日本語モデルとして最高水準の性能を達成し、AWS Marketplaceにも掲載されました。

そして直近の主戦場は、テキストを超えた領域です。視覚言語モデルQwen 2.5 VL 32Bを基盤に、画面を見て理解し操作するCUA（Computer-Using Agent）の開発へ進み、2026年には軽量クラスで世界トップ水準の日本語CUAモデルに到達しました。テキスト生成からエージェント、そしてマルチモーダルへ。モデルの進化に合わせて、Trainium上の学習技術も更新し続けてきた3年間でした。こうしてリリースにいたったのがオープンモデル6つとSynシリーズ2つの計8モデルで、学習の試行はその何倍にもおよびます。

移植の実態——中核を担ったのは1人のエンジニア

「専用チップへの移植」と聞くと、大部隊による長期プロジェクトを想像するかもしれません。しかし実際にTrainiumへの移植の中核を担ったのは、1人のエンジニアでした。

もちろん、1人ですべてが完結したわけではありません。モデルの性能を決定づける学習データの作成では、チームのメンバーが大きな役割を果たしてきましたし、現在はTrainium上の開発そのものにも複数のエンジニアが加わり、体制は広がりつつあります。それでも、GPU向けに書かれた学習コードがそのままでは動かない環境で、分散学習の構成もメモリの使い方もチップの特性に合わせて設計し直す——その移植の中核を1人でやり切れたことは、一度確立したノウハウがMoE（Mixture of Experts）や視覚言語モデルといった新しいアーキテクチャにもそのまま効くことの証明でもありました。

その積み重ねの結果が、冒頭に挙げたGPU比約半分という学習コストです。一度きりの実験ではなく、3年間・8モデルにわたって再現し続けてきた数字である点が、私たちにとって重要な意味を持っています。

画面を操作するAIから、ロボットを動かすAIへ

Trainiumで鍛えたCUAは、経済産業省・NEDOの生成AI開発支援プログラムGENIACでプロダクトへと育ちつつあります。Phase 2では日本語CUAモデルを開発し、日本語の画面認識でGPT-4oを上回る精度と、日本語の画像文書読解で国内トップスコアを達成しました。一方でPoCを通じて見えた課題もあります。プロンプトを書くのにエンジニアが必要で、現場が自力で自動化を進められなかったのです。

Phase 3ではこの課題に正面から取り組んでいます。画面を録画しながら口頭で作業を説明すると、AIがマニュアルを自動生成し、そのままCUAモデルが作業を実行する——エンジニア不在の現場でも複雑な業務を自動化できる仕組みです。この裏側では、Qwen 3 VLシリーズ（32B / 30B-A3B / 8B）をTrainiumで学習しており、これも世界初の公開事例となります。日本語環境での操作性能を測るベンチマーク「OS-World-Verified JP」の公開も予定しています。

さらにこの技術は、画面の外へ向かい始めています。「見て・理解して・動く」というCUAの構造は、ロボット制御のためのVLA（Vision-Language-Action）モデルとそのまま重なります。私たちはAWSジャパンのPhysical AIプログラムに採択され、トヨタグループのジェイテクト、Upstage社とともに、自動車部品ラインのロボットアームを言葉と視覚で制御するAIの開発を2026年3月から進めています。ここでもモデルの学習基盤はTrainiumです。