日本語PC操作ベンチマーク「OSWorld-JP」とモデルをOSSで公開

カラクリ株式会社（本社：東京都中央区、代表取締役CEO：小田 志門、以下「カラクリ」）は、経済産業省の生成AI開発支援プログラム「GENIAC」第3期の成果として、PC操作を自律的に実行する国産CUA（Computer Use Agent）向け視覚言語モデル「KARAKURI VL2」（8Bパラメータ）を開発しました。

自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」（100タスク）で評価した結果、総合スコアではClaude Sonnet 4.6に及ばないものの、画像編集（GIMP）とメール操作（Thunderbird）の2カテゴリでClaude Sonnet 4.6を上回りました。また、ベースモデルとの比較では、複数アプリケーションの横断操作（multi_apps）で約2.8倍のスコア向上を達成しています。

本プロジェクトでは、学習済みモデルに加え、評価に使用したベンチマーク「OSWorld-JP」もオープンソースで公開しています。第三者による結果の再現と、国内におけるCUA研究の共通評価基盤の確立を目指す取り組みです。学習用コードについても近日中の公開を予定しています。

学習済みモデル：https://huggingface.co/karakuri-ai/karakuri-vl-2-8b-thinking-2603
ベンチマーク：https://github.com/karakuri-ai/OSWorld-JP

ベンチマーク結果

以下はすべて自社開発ベンチマーク「OSWorld-JP v0.2」（100タスク）による評価結果で、各スコアは3回実行の平均値です。

【全カテゴリ比較：KARAKURI VL2 vs 海外主要モデル】

★はKARAKURI VL2がClaude Sonnet 4.6を上回ったカテゴリ（10カテゴリ中2カテゴリ）
※Claude Sonnet 4.6のパラメータ数は非公開であり、モデル規模の直接比較ではありません
※カテゴリ別のタスク数が少ないため（gimp: 7、thunderbird: 4等）、カテゴリ単位のスコアには統計的なばらつきが含まれます。
※ いずれもmax_steps=50 

【スコアについて】

総合スコアではClaude Sonnet 4.6（0.593）がKARAKURI VL2（0.331）を大きく上回っています。一方、KARAKURI VL2はgimp（画像編集）でClaude Sonnet 4.6の約2倍のスコアを記録し、thunderbird（メール操作）でも上回りました。8Bパラメータの軽量モデルとして、特定の業務領域に絞った精度の追求が一定の成果を示した結果と捉えています。

【ベースモデル（Qwen3-VL-8B-Thinking ）からの変化】

学習によりmulti_appsで成功率177％増やosで成功率25％等では性能の大幅な向上が見られました。今後、学習データを拡充することで、他カテゴリも含めたさらなる性能向上に取り組む予定です。 

 公開物の全体像

CUAモデルの評価に使える日本語ベンチマークが国内では限られる中、評価基盤そのものをオープンソースで提供することで、研究コミュニティ全体での知見の蓄積を促進します。ベンチマークの設計思想や各タスクの構成はGitHubリポジトリ内のドキュメントをご参照ください。

KARAKURI VL2の技術的特長

1. ローカル環境で動作する軽量モデル
8Bパラメータの軽量設計により、企業のオンプレミス環境で動作させることが可能です。機密性の高い顧客データや業務データを外部に送信することなく、セキュアな環境でPC操作の自動化を実現します。

2. 合成データによる業務特化学習
ネット上に存在しない実業務の操作パターンを合成データとして生成し、学習に活用しています。これにより、コンタクトセンターで日常的に行われる画像編集やメール操作といった特定業務において、汎用モデルを上回る精度を実現しました。

3. AWS Trainiumによる学習基盤
学習基盤にはAWS Trainiumを採用しています。Qwen3-VLアーキテクチャのTrainium上での大規模学習は、公開事例が確認されていない取り組みです（2026年3月時点・自社調べ）。

開発の背景

大規模言語モデルの進化に伴い、PCをGUI経由で自律操作するCUA（Computer Use Agent）が新たなAI応用領域として注目されています。しかし、現在公開されている主要なCUAモデルの多くは英語環境に最適化されており、日本語UIや国内で広く使われる業務ソフトウェアへの対応には課題が残されていました。

カラクリは2024年、GENIAC第2期において32Bパラメータの視覚言語モデル「KARAKURI VL」を開発し、日本企業として初めてCUA向けモデルを公開しました。しかし、32Bモデルは推論コストが高く、機密データを扱う企業環境でのローカル運用が困難であるという課題がありました。

第3期では、この課題を解消するため8Bへの軽量化に取り組むとともに、日本語環境でのPC操作能力を客観的に評価するためのベンチマーク「OSWorld-JP v0.2」を新たに開発しました。モデルとベンチマークの双方をオープンソースで公開することで、国内CUA研究の発展基盤を提供します。

カラクリ株式会社 CPO 中山 智文　コメント

国産AIにおける意見は様々あると思います。その中で私が考えるのは、海外の汎用モデルと同じ土俵で戦う必要はないということです。私たちが目指すのは、日本の産業を支えてきた『現場の磨き上げ（現場力）』をAIの知性に変えることです。

今回の開発では、3つの領域に特化しました。

「業界特化」：特定業務における、汎用モデルを凌駕する精度の追求

「独自データ」：ネット上にはない、現場のリアルな操作・判断ログの活用

「自前運用」：軽量モデルによる、機密データを外に出さないセキュアなローカル環境

今回のベンチマーク結果が示すとおり、総合性能では海外大手モデルに大きな差があります。しかし、現場の実務で使われる特定のアプリケーション操作に絞れば、8Bの軽量モデルでも十分な精度が出せることを確認できました。

また、今回はモデルだけでなく、評価に使ったベンチマーク「OSWorld-JP」もオープンソースで公開しました。国内のCUA研究において、日本語環境での評価基盤は十分に整備されていません。私たちの成果だけでなく、課題も含めてオープンにすることで、国内のCUA研究コミュニティ全体の前進に貢献したいと考えています。

技術概要

GENIAC採択経緯

今後の展望

カラクリは、KARAKURI VL2を基盤としたAIエージェントアプリケーションのサービス化を推進します。カスタマーサポート領域を起点に、レガシーシステムを含む複数アプリケーション間の操作自動化へ対象を拡大し、自社製品群への統合を進めてまいります。

ベンチマーク「OSWorld-JP」については、タスク数の拡充と評価カテゴリの追加を進め、国内CUA研究における標準的な評価基盤としての発展を目指します。また、学習データの拡充とファインチューニング手法の改善により継続的に精度向上に取り組みます。

本件に関するお問い合わせ先

カラクリ株式会社 広報チーム

E-mail：pr@karakuri.ai