「お客様がいつでも、好きな方法で」を諦めない。一休がチャットの解決率を36％から70％前後まで引き上げた1年

導入前の課題

• 2018年から運用してきたシナリオ型チャットボットが、相次ぐサービスリリースと回答範囲の拡大に、メンテナンスが追いつかなくなっていた

• 想定外の言い回しや複数の要件が混ざった質問に対応できず、以前は50％台だった解決率が平均36％まで低下していた

• FAQとチャットボットでナレッジコンテンツを二重に管理する必要があり、運用の負荷が大きかった

• 「予約を確認したい」のようにサービス名称や主語が省略された問い合わせに対して、適切な回答にたどり着けないケースが多かった

導入の効果

• 解決率が36％から70％前後へ改善。GeN導入後は55～60％を推移、サブエージェント化以降、7月は69.3％を記録し、以降も70％前後で推移

• プロンプトを役割ごとに分散させたことで、回答開始までの時間が3.2秒から2秒へ、約40％短縮

• 聞き返し機能により、宿泊・レストラン・スパといったサービス区分を特定したうえでの回答が可能に

• 会話ログが単語の羅列から文章へと変わり、お客様のつまずきの背景を読み解けるVOCデータとして蓄積されるように

目指しているのは、「お客様が選べる」問い合わせ体験

── まず、カスタマーサービス部門のミッションについて教えてください

一休では「お客様の問い合わせ体験を最高の品質で提供する」ことをミッションに掲げています。お客様が困ったときに、どのチャネルで、どのタイミングで問い合わせるかを、お客様ご自身が決められる。その状態を目指しています。

お客様には、お忙しい中でお問い合わせいただいています。いまは電話ができないのでメールを送っておこう、チャットで聞いてみよう。ところが十分な回答が得られず、結局もう一度電話をかけ直すことになる。そうではなく、チャットでもメールでも電話でも、ご自身のタイミングでお問い合わせいただき、きちんとした解決策が返ってくる。それを実現したいと考えています。

チャネルを一つに寄せたいという発想は、私たちにはありません。電話を好まれる方もいれば、メールのほうが手軽だという方もいらっしゃいます。一休は比較的年齢層が高めのお客様が多く、Yahoo!トラベルは若い方が多いため、チャネルの使われ方も変わってきます。加えて、旅行やレストランという大切な場面でご利用いただくことの多いサービスです。現地で予期せぬトラブルが発生した際に、電話がつながらない事態は避けなければなりません。

お客様がご自身でチャネルを選べ、どのチャネルでも解決できる状態を目指す。その一環として、チャットにおいても良い体験を提供したいというのが今回の取り組みです。

シナリオ型の限界と、「一度閉じようか」という議論

── GeNの導入前はシナリオ型のチャットボットを運用されていたそうですね

はい。シナリオ型のチャットボットは、2018年頃から使い始めたと聞いています。当時としては早い時期だったと思います。

課題は大きく3つありました。

1つ目は、サービス開発のスピードに管理が追いつかなくなったことです。ふるさと納税のリリースをはじめ、一休では新しいサービスや機能開発が次々に立ち上がります。それに追従してシナリオを更新し続けることには、どこかで限界が来ます。

2つ目は、想定外の質問や、複数の要件が混ざった質問への対応が難しかったことです。設定したワードに合致しないと、そこで止まってしまいます。

3つ目は、運用管理が二重だったことです。FAQ用の書き方、ボット用の書き方と、言い回しの細部まで人手をかけて作り分けていました。

結果として、人によるナレッジ管理の負担が非常に大きくなり、運用が立ち行かない状態になっていました。解決率も、導入から数年は50％程度を維持できていましたが、最終的には36％を上下するところまで落ち込んでいました。

── チャットボット自体をやめるという選択肢はなかったのでしょうか

その議論は何度も出ました。「一度閉じてしまおうか」というところまで話が進んだこともあります。ただ、ちょうどその頃に生成AIが登場し、チャットボットにも使われ始めていると聞きました。一度話を聞いて、触ってみようと。それが踏みとどまるきっかけになりました。

決め手は「質問意図の理解」と「聞き返し」

── 複数社を比較されたと伺っています。GeNを選んだ決め手は何でしたか

デモまで見たのが3社、見積もりを含めると5社ほどです。

その中でカラクリさんを最も高く評価したのが、「質問意図の理解」と「意図が不明なときの聞き返し」、そして回答精度でした。聞き返しはカラクリさんの武器だと思います。加えて、カスタマーサクセスのサポートが手厚いという評判を伺っていましたので、その点も大きな判断材料になりました。

── 聞き返しについて、具体的にどのような場面で効いていますか

シナリオ型のときに最も課題だったのは、単語だけでお問い合わせをいただいた際に、意図とずれた回答を返してしまうことでした。

たとえば「決済状況を確認したい」というお問い合わせです。お客様の状況によって案内が変わってきますし、一休には国内宿泊、海外宿泊、レストラン、スパなど複数のサービスがありますので、異なる状況やサービスのシナリオから回答してしまうことが起こりえます。「ログインできない」も同様で、状況を聞き返すことができれば、「キャッシュをクリアしてみてください」「パスワードが異なっている可能性があります」と具体的にご案内できます。

お客様は質問意図が伝わっている前提で言葉を短くされることが多いため、こちらから主語や状況を尋ねる機能が必要な場面は少なくありません。これは人間の応対と同じです。カラクリさんはこれまで人間にしかできなかったことをAIで実現できないかという探求をされていると感じ、その姿勢は私たちの考え方とよく合っていました。

カスタマーサクセスに感じた「柔軟さ」

── サポート面ではいかがでしたか

一番は柔軟さです。思考の幅、と言ってもいいかもしれません。「こうしたい」とお伝えしたときに、対症療法的な解決案ではなく、プロンプトの設計や、その手前のコンセプトに立ち返った考え方を示してくださいます。

こちらがプロンプトへの指示を出す際、拙い書き方でもAIは読み取ってくれます。ただ、その手前にある言語化しにくい「概念」や「指針」の段階を、カラクリさんのカスタマーサクセスの方が汲み取り、プロンプトに落とし込んで改善してくださる。そこに柔軟さを感じます。

提案の質も高いと感じています。困っている場面に対して、その場しのぎの対処ではなく「全体の構成としてこうしたほうがいい」という提案が出てくる。取り入れると結果的に数字が改善する、根本解決の一手を示してもらえるのは大きいです。

打ち合わせ中に出てきた課題に対して、5分後には「こんなのはどうですか」と案を出していただいたこともありました。そのスピード感と、その場で手を動かす姿勢は、他ではあまり経験がありません。

4万2000文字のプロンプトと、サブエージェントという転換点

── ローンチ前にはかなり検証を重ねられたそうですね

最初の段階から良い数字でスタートしたいと考えていたので、綿密に検証を重ねました。弊社2名とカラクリさんのご担当者とで、集中的に取り組みました。

ただ、運用を続けるうちにプロンプトが肥大化していきました。文字数が4万2000文字ほどになった時点で「これは多いのでしょうか」と尋ねたところ、「かなり多いです、2万文字弱が理想です」というお答えでした。理想の倍の分量で動いていたことになりますが、それでも精度は高い方でした。ただ、精度と速度をさらに追求していくために、重複するテキストや冗長的なセンテンスを削るなどの対応はしていましたが、どこまで削ればよいのか、自分たちではだんだんと判断が難しくなってきました。

そのタイミングで、サブエージェントを複数体構築するマルチエージェントの概念をご提案いただき、説明を伺ったところ、まさに自分たちの課題をクリアできる内容だったため、実装を決めました。当時まだ数社しか事例のないモデルケースだと伺ったので、うちも是非モデルケースとして協力させていただきたい旨をお伝えしています。

── どのような構成にされたのですか

宿泊、レストラン、会員というサービス別の分割を軸に、一休で特別な対応としてまとめている項目が25ほどありましたので、それらも切り出せないかと相談しながら、最終的に10体のサブエージェントを構築しました。

これから先、AIの活用が進むほどマルチエージェント化は重要になると考えています。一枚のプロンプトは必ず肥大化しますので、役割を分けておいたほうが後々のアップデートもしやすい。先行投資という意味合いもありました。

賢さをオーケストレーターに置くか、サブエージェントに置くか

── 構成の検証で印象に残っていることはありますか

印象的だったのは、オーケストレーター（司令塔）を賢くするのか、サブエージェントを賢くするのか、という論点でした。

最初に試したAパターンは、サブエージェント側を賢くし、司令塔はその回答を丁寧に返す、という構成です。ただ、これは回答精度があまり伸びませんでした。相談したところ、司令塔を賢くしてサブエージェントは検索に徹する役割に絞るBパターンを試させていただき、こちらがよく合いました。

一方で、Aパターンのプロンプトはお客様の気持ちを汲み取る丁寧な言い回しになっており、この書きぶりは活かしたいと感じていました。そこで、Bパターンの構成にAパターンの丁寧さを組み合わせたのがCパターンです。ハイブリッドとして、両方の良いところを引き継いでいます。

── 検証はどのように進められたのですか

リリース前に社内で実施しました。導入時はアンケートで「いいえ」が付いた質問を大量にテストしましたが、マルチエージェント化の際は逆に「はい」が付いたものを大量にテストし、合格水準の回答が返ってくるかを確認しました。「いいえ」への対応はやりきったので、次は良い体験を維持できるかを見る、という考え方です。

解決率は70％前後、回答開始までの時間は40％短縮

── 成果について教えてください

もともと36％だった解決率が、現在は70％前後まで来ました。おおよそ2倍です。マルチエージェント化の効果は飛躍的だったと感じています。稼働を始めた7月の解決率は69.3％、直近は70％を超えています。自分たちでプロンプトのチューニングを続けながら、緩やかに上がっている状態です。

回答速度も改善しました。プロンプトを分散させたことでGeNの処理速度が上がり、回答開始時間がマルチエージェント導入前の3.2秒から2秒になり、約40％短縮されています。お客様のストレスが減るという意味でも、影響は大きいと考えています。

あわせて、FAQの検索一覧や記事内で、アイコンが表示されてから3秒後に「よかったら使ってください」という吹き出しを出す実装も始めました。ご利用いただければ解決率が高いことはわかっていましたので、使われるほど数字が安定していきます。FAQを参照する仕組みですので、主要な記事にディスクリプションを登録したり、サイトのFAQ構成を見直したりと、AIがスムーズに解読できるようにするためのLLMO対策も知恵をお借りしながら進めています。

アイコンデザインもシーズンごとに変更しています。お客様に気軽に楽しみながらご利用いただけるようなUIデザインを意識して作成しています。

── 数字以外で、印象に残っているエピソードはありますか

先日目にしたのは、お客様とのメールでのやりとりで、AIの回答の方がわかりやすくて良かった、というお声をいただいた例です。AIの回答レベルが人と同等かそれ以上になりつつあると改めて感じたと同時に、どのチャネルでも同品質を保ちたいと改めて思いました。

もう一つは、複雑なご質問に対して、AIが最後まで丁寧に応対していたケースです。何度もやり取りを重ねる場面でも、AIは終始寄り添いながら回答を続けていました。深夜などの営業時間外であっても、お客様に丁寧に向き合えるAIの存在は、ユーザーファーストを実現するうえで非常に大きいと感じています。

「いいえ」は、人が見続ける

── 会話ログの分析はどのようにされていますか

「いいえ」が付いたものは必ず確認しています。ここはAIに任せず、当面は人が見続けようと決めており、現在は2人体制で確認しています。

将来的に、AIのほうが文脈を読み取り、実装まで担えるようになれば考え方も変わると思いますが、現状は自分たちの知見を風化させないためにも、きちんと目で見て「こういうことをおっしゃりたかったのか」と読み解いています。多くを語られないお客様もいらっしゃいますので、言葉の奥にある感情は大切にしたいと考えています。「いいえ」が付いた箇所からプロンプトを少しずつ調整し、着実に解消していく。そうしたサイクルができています。カテゴリーごとに「ここは聞き返してほしい」「ここは聞き返さなくてよい」といった細かい挙動を制御できる点など、現時点では人間がログ分析をする意味があると考えています。

── ログそのものの質にも変化がありましたか

今までとは全く違います。導入以前は、会話ログを見ても単語中心で、結局どこでつまずいているのかがわかりにくい状態でした。しかしながら、生成AIが日常に浸透してきているためか、お客様もチャットで聞き返された場合に、文章ベースでのやりとりが圧倒的に増えました。得られる情報量が以前よりもかなり多くなっています。

おかげで、お困りごとのパターンや深さについての知見が蓄積しやすくなりました。「ログインでつまずく方のうち、このパターンが3割」というように、解像度が上がったことで、細かいアプローチを検討できるようになっています。その反面、文章ベースの質問に適切に対応できない状態だと、お客様のお困りごとを解決できず、利用されにくくもなると思うので、常にいいコンディションを維持していきたいです。

VOCを起点に、プロダクト改善につなげる

── 分析結果は社内でどのように活かされていますか

チャットボットと有人チャネルの双方から「ここがペインになっている」というものを見つけ、改善に動いています。

複数のチャネルから同じ声が入ってくるということは、表に出ていないペインがある証拠でもあります。自分たちで該当箇所を見て違和感があれば「もう一度検討してほしい」と伝えやすい。それにより優先順位の低かった課題が、サービスリリースの合間に開発チームによって改善されやすくもなります。

また、弊社の文化として、プロダクト開発チームが何かをリリースする際に、お客様の受け止め方についてCS（カスタマーサービス部）にヒアリングすることがあります。分析結果を踏まえて、「こうしたお問い合わせが多いので、ここはこうしたほうがよい」という意見をサービス設計の判断材料として活かしてもらうことが可能です。CSが信頼され、意見を尊重してもらえる関係ができています。

これからの展望

── 今後、どのようなことに取り組んでいきたいですか

当面の目標は「パーソナライズされた問い合わせ対応」です。お名前や予約番号から、決済状況やキャンセル・返金の状況を、個人情報が安全に守られた状態でご案内できる仕組みを、チャットボットで実現したいと考えています。

宿泊や飲食という体験を提供している以上、ご予約の状況に応じたご質問が多くを占めます。それをコールセンターが開いていない夜間も含め、24時間、お客様の望むタイミングでご提供する。自動のチャネルでもパーソナライズされた回答が返ってくる状態をつくりたいと考えています。

CS内ではメール対応の自動化も検討していて、クリアすべき課題はセキュリティをはじめ共通していますので、足並みを揃えて進めたいと思っています。いつでもAIが正しい回答で対応し続けられるカスタマーサービス。そこが現在の課題であり、この先目指すところです。

具体的に取り組んでみたいのは、コンピュータ操作を学習するAI（CUA）の活用です。回答をつくるまでに必要なデータが複数の社内システムにまたがっており、いくつもブラウザを立ち上げ、さらに手元のナレッジも確認して回答を組み立てます。総合的な技術が求められる領域です。

幸い、弊社はコールセンターをパートナー企業に委託しつつ、同じ場所でCSとコールセンターが一緒に働いています。長く担当されているSV（スーパーバイザー）の方も多く、すぐに意思疎通ができ、互いの方針を理解し合えています。スキルも信頼度も高い方々です。この方々の応対をCUAに数か月学習してもらえれば、精度の高い自動案内システムができるのではないかと考えています。ホスピタリティと回答精度を両立されている方たちですので、日本でも指折りのカスタマーサービスがつくれるのではないかと期待しています。

「日本一のチャットボットを目指そう」と掲げているのですが、目標としていた解決率を達成したあとも、カラクリさんは「さらに上を目指すにはこういう方法があります」と一緒に考えてくださいます。そうした関係で、これからも進めていければと思っています。

株式会社一休

本社：東京都千代田区紀尾井町1-3 東京ガーデンテラス紀尾井町 紀尾井タワー10階
設立：1998年7月30日
従業員数：359人（2026年3月31日現在）
事業内容：宿泊予約事業、レストラン予約事業など
企業公式サイト：https://www.ikyu.co.jp/

取材に対応していただいた方々

株式会社一休
カスタマーサービス部 部長　桑原 俊彦 氏　片山 雄太 氏　持田 祐輔 氏