～国産モデルの中で最高性能を獲得～

カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、アマゾン ウェブ サービス ジャパン合同会社（以下、AWSジャパン）の「AWS LLM 開発支援プログラム」を活用して開発した700億パラメーターの大規模言語モデル（以下、LLM）「KARAKURI LM」を2024年1月29日に一般公開いたしました。

本モデルは2024年1月26日に、LLMのベンチマークテスト「Japanese MT-Bench」で性能評価を実施し、国産LLMモデルとして最高性能（※）の評価が採点されております。

※ 「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。2024年1月26日に性能評価した結果、国産モデルとして最高点の評価を得ました。ベンチマークテストとは、定められた基準を元にその性能を測定する方法で、「Japanese MT-Bench」はGPT-4を評価者としたものです。1～3位はOpenAI社開発、4～6位はアメリカのAnthropic社、7位・8位フランスのMistralAI社開発、9位はGoogle社開発、10位はイギリスのStability AI海外ベンチャー開発のLLMモデルです。

公開URL

ベースモデル
https://huggingface.co/karakuri-ai/karakuri-lm-70b-v0.1

チャットモデル
https://huggingface.co/karakuri-ai/karakuri-lm-70b-chat-v0.1

モデルの詳細については前回のプレスリリース「カラクリの700億パラメーターLLM、国産モデルの中で最高性能を獲得」をご参照ください。本モデルは前回の発表したLLMを公開可能な形に修正し、改めて性能評価を実施しております。

また、近日中にテックブログにも技術の詳細記事を投稿する予定です。

KARAKURI techblog：https://medium.com/karakuri

会社概要

カラクリは「カスタマーサポートをエンパワーメントする」をブランドパーパスに掲げ、大規模言語モデル(LLM)のカスタマーサポートへの実用化を目指した事業を展開しています。2018 年より transformer を用いた言語モデルBERT を、2022 年からは GPT を含めた大規模言語モデルの研究を実施。主力ビジネスである高精度 AI チャットボット「KARAKURI chatbot」は、高島屋、SBI 証券、セブン-イレブン・ジャパン、SmartHR など各業界のトップランナーに選ばれつづけています。2018 年の ICC サミット「スタートアップ・カタパルト」に入賞、2020 年に「Google for Startups Accelerator」に採択、2023 年に「AWS LLM 開発支援プログラム」に採択されました。

本件に関するお問い合わせ先

カラクリ株式会社： 広報　堀之内
E-mail: pr@karakuri.ai