朝、出勤をしメールをチェックすると数々の未読メールが…そんなとき、AIが自動的に返信ドラフトを作成し、送信の承認だけを待っている状態や、回答の精度が十分に高い場合には自動で応答が完了している状態だと、とても楽だと思いませんか？実は、生成AIの登場により、このようなシナリオは現実のものとなりつつあります。本記事では、これを実現するために必要な要素と、AIを活用したメール対応の近未来や最新事例について詳しく解説します。
（この記事は2023年9月20日に開催されたセミナーの内容に補足・編集を加えたものです。）
生成AIにメールの自動作成を行わせる方法とは？
まずはじめに、生成AIにメールの自動作成を行わせるには『Fine-Tune型（勉強＆記憶型）』と『RAG型（教科書持ち込み型）』の２つの方法が存在します。
過去のデータを前もって学習。
覚えた知識でメールの生成を行う。
マニュアルや過去のデータを参照。
その内容を見ながらメールの生成を行う。
Fine-Tune型とRAG型について、上のイラストに沿ってテストを受ける生徒で例えてみます。
まず、Fine-Tune型は、テスト前にしっかりと勉強をして、テスト範囲を頭に入れてきた生徒だと考えてください。そして、テストの日になったら、自分が学んだ知識を用いて問題を解きます。例えば、数学のテストであれば、事前に学んだ公式を使って計算を解いていきます。
この生徒（Fine-Tune型）は、積み重ねて学んできたことを当てはめて使うことが得意です。しかし、テストに出てきた問題が学んだことと全く異なると、答えるのが難しくなるかもしれません。
次に、RAG型は、教科書の持ち込みが可能なテストを思い浮かべて下さい。テストの日になったら、元々覚えている知識だけでなく、教科書を見て情報を探し出し問題を解くことができます。例えば、歴史のテストであれば、「応仁の乱は何年にありましたか？」という問題が出た際、教科書から答えを探して問題を解きます。
この生徒（RAG型）は、調べればすぐに分かることや新しい問題に対応するのが得意です。しかし、教科書を上手く使うためには、どの情報がどこにあるかを理解している必要があります。
それぞれに得意としている領域が存在するので、目的に最適な方法を選ぶことが大切です。
Fine-tune型で行われた研究（カスタマーサポートのオペレーター支援にGPTを活用した研究）
生成AIにメールの自動作成を行わせる方法としては、元々Fine-Tune型が主流でした。
2023年4月に、5,179人のカスタマーサポートに生成AIベースのアシスタントを導入して1時間あたりの問題解決数(問い合わせ等を捌けた件数)を調べた大規模な研究の論文が発表されています。さて、この論文で具体的にはどのような結果が得られたのか見ていきましょう。
- 経験が浅い、スキルの低い方のサポートで効果が出やすく、ベテランは効果が出にくい
- AIは暗黙知を広め、新人のオンボーディングに特に効果的であることが示された
- AIは顧客の満足度の向上、マネージャーの負荷の軽減、定着率の増加などをもたらすことが示された
- 結果、平均14%問題解決数が増えた
- 利用データは300万件程度の会話のログ。
- それには解決したかどうか、かかった時間、トップオペレーターかどうかのフラグの情報が付与されている。
- AIは以下の二つのことを行う
- 問い合わせに対して回答内容を予測する
- 関連ナレッジを提示する
- また、予測の精度の高い会話パターンと低い会話パターンをあらかじめ調べておき、精度の低い会話パターンでは提示を行わない
- 結果、平均14%の生産性向上に至った
Fine-tune型の生成AIのカスタマーサポートへの導入は、問い合わせ解決率や生産性を平均14%向上させるという成果をもたらしました。特に新人やスキルの低いスタッフの支援に有効であり、顧客満足度の向上やマネージャーの負荷軽減にも寄与するという利点があります。また、動的な分類（コール理由のタグ付けなど）や形式（口調）の変換といった特定のタスクには効果的ということが確認できました。しかし、課題点もいくつか見つかっています。
- ChatGPTは一般的な知識であれば答える事が可能だが、そのようなAIは追加で学習させるとうまく回答が帰ってこないことが多い
- 学習させるには様々なテクニックが必要
- データ量も膨大に必要(数十万~)
- Input-outputの形式のデータ(質問と回答のような形式)にする必要がある
- マニュアル形式のようなものを記憶させるのはそのままでは難しい
- 膨大なコストがかかる(精度次第で、数百万円~百億円)
Fine-tune型の導入と運用は容易なものではなく、様々なテクニックや大量のデータ、そしてそれに伴う膨大なコストが必要となることが課題として挙げられます。これらの課題を乗り越えるために、現在ではRAG型が主流となりつつあります。
現在の主流はRAG型
前述の課題を解決し、生成AIの利活用を進めるために現在の主流となりつつあるのがRAG型です。ChatGPTを開発・提供するOpenAI社もこのRAG型の有効性について公式に発表をしています。
RAG型を試すことができる環境として2023年６月にリリースされた「Add your data」。データやマニュアルをアップロードすると、その内容を回答するチャットボットの作成が可能です。
- Microsoft製
- データをアップロードするだけで、独自のチャットボットを作ることができるというコンセプト
RAG型でのメールドラフト作成の流れは以下の通りです。
① 質問文（お問合せ内容）をもとに、マニュアル・過去ログ・テンプレを検索する(意味検索)
② 検索結果をプロンプトに含めてChatGPT等に渡し、その情報を参考にして、質問への回答を生成させる
【 RAG型でのメール作成プロンプト例 】
あなたはA社のカスタマーサポート担当者です。
以下にユーザーからの問い合わせと、参考になりそうな情報が与えられるので、
問い合わせの回答メールを作成してください。
＃問い合わせ
ログインできません
＃参考情報
Q：ログインできない
A：パスワードリセットを行なってください。手順は～
※ ①の検索結果を参考情報としてプロンプトのQとAにそのまま挿入
RAG型は数多くのサービスで導入が試みられていますが、実際にはうまく機能しないことがしばしばです。先程紹介した「Add your data」も、実際に使ってみるとその限界に直面することが多いのです。では、なぜRAG型がうまく機能しないのでしょうか？その答えは主に2つの要素にあります。それは「作成で失敗している」と「検索で失敗している」です。RAG型のプロセスはこの2つのステップからなるため、そのどちらかで問題が生じている場合、結果として失敗となります。
まず、「作成で失敗する」という問題について見ていきましょう。これに対する対応策としては、1つ目はGPT-4の導入、2つ目はプロンプトの工夫です。
GPT-4の導入は、作成の失敗を大幅に解消する可能性があります。GPT-3.5でも作成が可能な場合もありますが、不十分な情報が多く、一部の情報を切り取った回答することが多いです。しかし、GPT-4では、これらの問題を大幅に解消することが期待できます。
しかし、GPT-4の導入だけで完全に問題が解決するわけではありません。それはなぜなのでしょうか？それは、生成する内容は、与えられたプロンプト（指示）に大きく依存するからです。そのため、プロンプトの工夫も非常に重要となります。明確で具体的なプロンプトを設定することで、より適切な回答を生成する可能性が高まります。
次に、「検索で失敗する」という問題について考えてみましょう。これに対する対応策としては、1つ目は検索エンジンを強化すること、そして2つ目はデータを整理することです。
検索エンジンを強化するためには、専門的な支援が必要です。しかし、ここで重要なのは、強力な検索エンジンだけでは問題を解決できないということです。データの整理が不十分であると、どんなに強力な検索エンジンを導入しても、その効果を発揮できないからです。
RAG型で失敗する最大の理由は「検索で失敗する」ことです。つまり、ほとんどの場合、適切な回答が見つからないという問題が起きています。そのため、データを如何に整理し、検索エンジンが適切な情報を見つけられるようにするかが重要となります。では、具体的にどのようにデータを整理すればよいのでしょうか？その前に、意味検索という概念について理解する必要があります。意味検索がうまく機能するためには、データの整理が不可欠です。この意味検索とは一体何なのでしょうか？次の項目では意味検索の内容について深掘りしていきたいと思います。
意味検索（Semantic Search）とは
意味検索は、単にキーワードが含まれている文章を検索するのではなく、意味的に近い文章を見つけ出す方法を指します。これは、従来のキーワードベースの検索とは一線を画し、意味の近さを測定し、検索結果の上位に表示するというアプローチを採用しています。また近年では、Deep Learning技術を応用し、意味を表すベクトルを作成し、そのベクトルの近さを比較することが一般的となっています。このため、Vector Searchとも呼ばれます。
例えば、「ログインできない」という問い合わせに対して、「ログインエラーがでました」という表現も、意味的には全く同じです。従来のキーワード検索では、キーワードが完全に一致しなければ検索結果にヒットしないという問題がありましたが、意味検索では意味的に近い表現を上位に表示することが可能となります。
意味検索の大きなメリットは、文章をそのまま検索できる点です。キーワード検索では、文章全体を入力するということが難しかったり、欲しい検索結果を得るためには裏側で工夫をしなければならなかったりします。しかし、意味ベースの検索では、文章をそのまま入力し、そのまま検索ができます。これは、AIが意味をうまく表現できるようになったことで可能となりました。
このような理由から、最近では意味ベースの検索がよく使われています。実際、Googleの検索も基本的にはこの方式で行われています。つまり、意味の近い文章を検索するということが、現代の検索技術の重要な要素となっているのです。
意味検索は、意味的に近い文章を見つけ出す革新的な方法ですが、それには一定の落とし穴が存在します。それは、「問い合わせの内容」を検索しても「回答の内容」がヒットするとは限らないという点です。
例えば、「ログインできない」という問い合わせがあったとします。マニュアルの中に「パスワードリセットの方法」が書かれていたとしても、「ログインできない」という質問の意味の近いものを探す意味検索では、「パスワードリセットの方法」はヒットしないでしょう。
なぜなら、「ログインできない」という言葉の意味と「パスワードリセット」という言葉の意味は全然違うからです。「ログインできない」という問題を解決するためには「パスワードリセット」が有効かもしれませんが、「ログインできない」という問いと「パスワードリセット」という回答の意味は違います。そのため、意味の近い文章を検索する方法を使っても、適切な回答がヒットしない可能性があります。
この問題を解決するためには、質問と回答のセットにして保存しておくことが非常に重要になります。つまり、質問だけや回答だけでなく、質問と回答の形式（Q&Aの形式）でデータを整理しておくことが必要です。このような形式でデータを整理することにより、意味検索が「質問の意味」に対して「適切な回答の意味」を見つけ出すことが可能となります。
| メリット | デメリット | |
| FAQ | ほとんどそのまま入れられる | 表や画像形式は生成AIで対応しづらい 網羅されていない |
| AIチャットボット | Qのデータがたくさん用意されているので ヒット率が高い | 初期構築がそれなりに大変 網羅されていない |
| 過去ログ | 質問も回答も網羅されている | 仕様が変わったときに対応しづらい |
| 質問例付き 定型文（KCS） | 運用の中で網羅性が上がっていく 人間の生産性を上げつつ、AIの精度も上がっていく | 作り上げるまでに時間がかかる |
これらのデータ形式の中で、特におすすめしたいのが質問例付き定型文（KCS）です。この方法のメリットは、質問の例がついているため検索でヒットしやすいこと、そして運用を回していく中で網羅性が上がっていくことです。これにより、人間の生産性もAIの精度も向上します。デメリットとしては、この形式のデータを作り上げるまでには時間がかかるという点がありますが、その労力を考慮しても、KCSは質問と回答がセットになったデータを整理する際の最良の手法と言えるでしょう。
定型文のKCS的運用
KCS（Knowledge-Centered Service）は、ナレッジをもとに回答を返していくという形式のことを指します。もし、既存のFAQに回答が存在しないお問合せが来た場合、ナレッジ作成者が新たなナレッジ（知識）を作り出し、それを回答として提供します。この考え方は、定型文の運用においても同様で、登録されていない定型文に対しては、新たに定型文を作成して回答します。
KCSについてもっと詳しく知りたい方はこちら
- 質問と回答のデータが蓄積される
- 「この質問にはこの回答を返す」というデータが日々の運用の中で蓄積・網羅されていく
- 作成されたナレッジは共有される
- 作成されたナレッジは他のオペレーターと共有され、他の人も利用することが可能なため全体の効率向上に繋がる
- 生成AIの網羅性が高まる
- 質問と回答のデータがきれいに蓄積されるため、生成AIの網羅性が高まり、使いやすい
- 変更内容をすぐに反映することができる
- 突然の仕様変更にも即時対応が可能
上記のメリットと共に、定型文のKCS運用で蓄積されるデータが人間のオペレーターやAIに有益であるためKCS的な運用を行うことをおすすめします。
実際に、株式会社SBI証券様では、ナレッジをベースに返答を行うというKCSの取り組みを行っており、この取り組みには、弊社が提供する定型文管理ツール『KARAKURI assist』が活用されています。その事例をご紹介致します。
- 知識を共有しやすい仕組み作り
- マイテンプレ、共有テンプレの選択可能（良いマイテンプは管理者が共有テンプレ化することも可能）
- ブラウザ拡張型であらゆるサイト・サポートツール上で手軽に定型文を呼び出すことが可能
- テンプレ更新や作成もどこからでも可能
- 定型文の検索体験にこだわり、優れた検索エンジンはもちろん、多様な検索軸を用意
- 細かい文章のミスはAIやルールベースの文章校閲機能で送信前に検知
上記に加えて、KCS的運用が回るように株式会社SBI証券様が現場の方に向けた勉強会を実施してくださったことにより、以下のような成果がでました。
- 1件あたりの対応時間が30~40%減少
- 特に繁忙期は1人1人が通常の倍以上の件数を捌くように
- 一方で品質はむしろ上がり「ありがとう」率は2倍に
- ナレッジ更新(共有)頻度は100件/週以上に
- 新人さんが1ヶ月で中堅オペレーターと同じくらいの戦力に
業務効率化や品質向上を実現し、社員一人ひとりの成長を促進するといった成果が出ています。これは定型文のKCS的運用が組織全体の生産性や品質に大きく寄与することを示す結果であると言えます。
まとめ
