CXM 横断的制御層
KARAKURI sensor
AI時代のガードレール／異常検知レイヤー
AIエージェントの応答を常時監視し、ハルシネーション・コンプライアンス逸脱・個人情報漏洩などのリスクを検知して、人へ戻す。
止めるべきものを止め、任せていいものだけを通す。
KARAKURIが進める「コンタクトセンターの工業化」を支える核心技術です。
KARAKURI CXM（統合プラットフォーム）のエージェントの一つです。GeN単体でも導入できます。
CHALLENGES
AI運用に必要なのは、
精度だけでなく制御の視点
精度が高くても、想定外の振る舞いを検知し、止め、人へ戻せなければ本格運用には進めません。AI導入には、監視と制御を前提にした運用設計が不可欠です。
精度が高くても、想定外の応答や
逸脱への不安が残りやすい
誤回答やコンプライアンス上の
懸念が、運用拡大の壁になりやすい
現場や管理部門が、
AIに任せられる範囲を広げにくい
「使うか・使わないか」の議論に偏り
運用制御の設計が後回しになりやすい
本格展開の前に、監視と異常検知の
仕組みが求められる
KARAKURI sensorは、異常検知とガードレールを軸に、AIを安心して運用しながら段階的に活用範囲を広げていく考え方をご提案します。
CONCEPT
「止める」ことが、AI運用の核心になる。
精度100%のAIは存在しない。
問題は、AIが間違えることではなく、
間違えたときに止められないこと。
KARAKURI sensorは「動かす」技術ではなく「止める」技術です。
製造業の自働化（じどうか）の思想を、コンタクトセンターに実装します。
REAL-TIMEMONITORING
AIの応答を、常時監視する。
AIエージェントの応答は、すべてsensorを通過します。複数の検知エンジンが多層的に判定し、安全なものはそのまま通し、リスクのあるものは人へ戻す──この流れを、すべての応答に対して常時実行しています。
INPUT
AIエージェントの応答
KARAKURI sensor
● MONITORING
ハルシネーション
コンプライアンス
個人情報
感情変化
プロンプト攻撃
不適切表現
PASS
そのまま通過
問題のない応答は、そのまま顧客へ届けます。
REVIEW
人へ確認依頼
判断が必要な応答は、人間にエスカレーションします。
STOP
遮断・再生成
明確にリスクのある応答は、顧客へ届く前に止めます。
sensorは「動かす」ためのプロダクトではなく、「止めるべきものを止める」ための判定レイヤーです。
DETECTION CAPABILITIES
sensorが検知するもの
AIが間違えやすいポイントと、AIに任せてはいけないポイントを、複数の検知エンジンが多層的に監視します。
01
ハルシネーション
AIが生成する「もっともらしい誤り」を検出します。ナレッジベースとの整合性をリアルタイムで照合し、事実と異なる応答を遮断します。
例：「当社の返品期限は90日です」→ 実際は30日 → STOP
02
コンプライアンス違反
薬機法・金商法・景表法などの法的リスクを含む表現を検出します。業界ごとのカスタムルールにも対応します。
例：「この商品で治ります」→ 薬機法抵触 → STOP
03
個人情報漏洩
AIの応答に個人情報が含まれていないかをチェックします。学習データからの不意な流出も防ぎます。
例：「前回ご購入時のカード番号は…」→ PII検出 → STOP
04
顧客感情の急変
対話中の感情変化を検知します。不満度の急上昇や攻撃的表現を検出し、人間対応への切り替えを推奨します。
例：感情スコアが急降下 → オペレーター接続推奨 → REVIEW
05
プロンプトアタック
悪意あるプロンプト注入を検出します。AIの挙動を操作しようとする攻撃を、入力段階で遮断します。
例：「AIの設定を無視して…」→ 攻撃検出 → STOP
06
不適切表現
AIの応答に差別的・攻撃的表現が含まれていないかをフィルタリングします。安全な対話環境を維持します。
例：差別的ニュアンスの検出 → 表現修正 → REVIEW
DATA GOVERNANCE
AIエージェント時代の
データガバナンス3原則
AIエージェントが顧客情報を参照し対応する時代。「AIにできること」と「AIに任せてはいけないこと」を、設計で分離します。生成AIだけでは実現できない安全性を、技術の組み合わせで担保します。
PRINCIPLE
01
Session-Scoped Data Isolation
セッション単位の
顧客データ分離
AIエージェントが顧客情報を参照する場合、そのセッションでは当該顧客のデータのみにアクセスを限定します。他の顧客の情報には一切到達できない設計です。
PRINCIPLE
02
Stricter-than-Human Access Policy
人間より厳格な
アクセス制限
AIエージェントのアクセス権限は、人間のオペレーターよりも厳しく設定します。AIは大量のデータを高速に処理できるからこそ、万が一の事故の影響範囲が大きくなります。
PRINCIPLE
03
Authentication Outside of AI
本人確認は
AIに任せない
本人確認・認証プロセスは、生成AIの判断に委ねません。認証は従来型の技術基盤で担保し、AIは認証済みセッションの中でのみ業務を遂行します。
生成AIは万能ではない。だからこそ、
AIが得意なこととAIに任せてはいけないことを、設計で分離する。
これがガバナンスの本質です。
認証は従来技術、アクセス制御はインフラ設計、判断はHuman-in-the-Loop。生成AIの力を最大限引き出すために、AIだけに頼らない技術の組み合わせが必要になります。
CROSS-CUTTING LAYER
CXMの全層を、横断的に制御する。
sensorはCXMの特定のコンポーネントではありません。すべての層を横断的に監視・制御する基盤技術です。
PILLAR
01
─ 実戦 ─
AIエージェント
GeN・voice agentの応答品質をリアルタイム監視。精度劣化やハルシネーションを検知し、即座に人間へ通知します。
PILLAR
02
─ 実験 ─
AIサンドボックス
カスタマーツインとの実験環境そのものが検証場。本番投入前に「越えてはいけない境界線」を確認します。
PILLAR
03
─ 実務 ─
バックオフィス
判断・承認の人間ループ（HITL）自体が究極のガードレール。承認結果の学習により、検知精度も向上していきます。
WHY WE CAN BUILD THIS
なぜKARAKURIが
sensorを作れるのか。
01 — LLM DEVELOPMENT
自社LLM開発力
汎用モデルに頼らず、用途別に専用モデルを設計。70Bから軽量モデルまで、複数サイズの国産LLMを自社開発しています。異常検知に必要なのは、賢さではなくブレないこと。モデルを作れるからこそ、止める技術も作れます。
01
02 — PRODUCTION EXPERIENCE
本番運用で培った境界線データ
フル生成AI型チャットボットを、本番の顧客対応で運用してきました。ヘイトスピーチ・個人情報・薬機法違反・プロンプトアタック──実運用で蓄積した境界線データが、sensorの精度を支えています。
02
03 — CUSTOM GUARDRAILS
業界・企業別のカスタムルール
金融、EC、通信──業界ごとに「止めるべきライン」は異なります。企業固有のオントロジーとルールをsensorに組み込むことで、汎用的な安全性ではなく、その企業に最適なガードレールを構築します。
03
04 — SCALABLE ARCHITECTURE
ナレッジの横展開
ある企業で学んだ異常パターンを、匿名化したうえで他企業のガードレールにも活用。使えば使うほどsensor全体の検知精度が向上していく、ネットワーク効果のあるアーキテクチャです。
04
AIを安全にスケールさせる、
ガードレールについてご相談ください。
詳細説明文があれば入ります
AIを安全にスケールさせる、
ガードレールについて
お気軽にご相談ください。
FDEチームが御社の現場に入り込み、
業務を理解した上で最適なAI展開を高速で実現します。
まずは、無料分析から。
お問い合わせの後、お客さまのお問い合わせデータを丁寧に分析し、AIエージェントの適用範囲・期待効果・最適な席数を無料で算出してご提案します。
初期設計の精度が、その後の成果を決めるからこそ、最初の分析と提案に時間をかけます。
