• トップ
  • リリース
  • 生成AIの嘘や間違いを検知する「分析機能」を発表!AI開発のPDCAを強力にサポートする機能群を提供へ

プレスリリース

  • 記事画像1
  • 記事画像2
  • 記事画像3
  • 記事画像4
  • 記事画像5

生成AIの嘘や間違いを検知する「分析機能」を発表!AI開発のPDCAを強力にサポートする機能群を提供へ

(PR TIMES) 2024年01月30日(火)10時45分配信 PR TIMES

会話型AI構築プラットフォームmiiboは、AIの応答精度や問題の解決度合いをAIに分析させる機能のベータ版を発表。先行利用ユーザーを募集を開始します。


[画像1: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-73bfea2f6a72d672136ba17f66f32c75-2000x1053.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
miibo新機能「AI分析機能」
発表の概要
生成AI導入の大きなハードルである「ハルシネーション」や言い間違えを検知し、改善を行うことができる新機能(ベータ版)をmiiboがリリースしました。AIが行った応答を分析し、アドバイスと共に「信頼度」と「解決予測度」を示します。

実際の動作の様子は、下記の動画をご覧ください。
[動画: https://www.youtube.com/watch?v=byJh9y3YJEw ]

会話型AI構築プラットフォーム miibo
株式会社miiboが手掛ける会話型AI構築プラットフォームmiiboは、
- 手軽にまずはAIを作ってみたいビギナー- 本格的にAIを組み込んだプロダクトを開発するデベロッパー
この両者にアプローチできる会話型AI構築プラットフォームです。miiboはこの2つの面を兼ね備えた、国内および海外でも独自のポジションを有する会話型AI構築プラットフォームです。
[画像2: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-e5a91c006e5ff66dd0748e806debd9e3-2634x1696.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]

【miiboで作ったAIのユースケース例】
・カスタマーサポート24時間自動応答AI
・社内ヘルプデスク応答用AI
・AIキャラクターの開発
・芸能人・アーティストの会話型AIの開発
・AIアシスタントの開発
・AIライターの開発

上記を含む様々な用途に活用可能な会話型AIがmiibo上で日々生み出されており、上場企業や地方自治体などでも導入が進んでいます。

公式サイト:
https://miibo.jp

参考資料:【利用事例マガジン】miiboで作る会話型AI (note)
https://note.com/miibo/m/ma82aceda74a8
生成AIの課題「ハルシネーション」を軽減するアプローチ
LLMを活用したチャットボットの導入も増えています。しかし、一部では生成AIの「ハルシネーション」をはじめとした課題がネックになり、導入を躊躇するケースも多く存在します。

※「AIのハルシネーション」= 、AIが虚偽の情報をもっともらしい形で出力してしまう現象

そこでmiiboは、開発したAIの発言を客観的な視点で評価・分析する「AI分析」機能をリリースします。


AI分析機能のイメージ
[画像3: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-76e1a84d7ff3e650ef3a04fb4431698b-1398x1018.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
実際のAI分析機能利用時の様子
[画像4: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-b5d80af5e0bfd4fcbf1826bb484c5251-1311x459.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
AI分析の項目
AI分析機能では、AIの発言について下記の3つの項目が得られます。
- 信頼度- 解決予測- アドバイス
信頼度
AIが行った発言がどれくらい信頼できるものかを判定します。miiboはあらかじめAIに専門知識を与えておき、その領域について会話ができるAIを構築できます。与えた専門知識と比較し、余計な事実をでっちあげていないか、不正確なことを言ってしまっていないかを分析して算出します。つまり、ハルシネーションが起きていないかを確認できます。

下記は、擬似的にわざとmiiboの公式ツイッターアカウントの名前を間違わせてみたテストです。Twitterアカウントの誤りを指摘し、今後の改善案を提示してくれています。

[画像5: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-1e5a713f5a98fb4b6244ffb197b3fe80-2920x1110.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]

[画像6: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-e88fa6ba9ce9fb2e6f916d9aba734aca-976x1320.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
信頼できない応答をした場合の分析結果

解決予測
ユーザーはAIとの会話によって課題を解決できたのかを予測します。情報の正確さだけではなく、AIがユーザーに寄り添ったサービスを提供できたかを判断する材料となります。

例えば下記の例は、情報は信頼できるものの、情報が不足していることでユーザーに十分な価値を提供できていないことをAIが示唆しています。ハルシネーション対策以上の改善へ繋げることが可能です。
[画像7: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-5a2fb8152ff5046498c43e6a6c9e41d9-1000x1594.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]


アドバイス
AIの応答をどのように改善するとより良いか、AIが客観的な視点で分析します。


ユーザーの解決状況を知ることで、さらなる改善へ繋げる
例えば、カスタマーサポートのチャットボットなどでは、ユーザーが実際に問題を解決したかどうかを分析することが重要です。
そこで、多くのチャットボットでは、「解決した」「参考になった」等のボタンを設置しています。
[画像8: https://prcdn.freetls.fastly.net/release_image/118546/16/118546-16-4088a9c85a212a39a52e484eb243c9cb-2550x1408.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]

一方で、多くのユーザーは「解決した」「解決しなかった」を押しません。
質問に対する情報のリンクが提示されれば、別の画面にすぐさま遷移し、解決すれば戻ってこないでしょう。よって、解決した場合も、フィードバックとして返ってくるのは、一部の親切なユーザーのみに限られてしまいます。

上述のAI分析による「解決予測」は、まさにその計測に役立ちます。
AIの応答によって、ユーザーは果たしてどれくらい解決を果たすことができたのかを予測させることにより、ユーザーの能動的なフィードバックでは得られないインサイトを獲得することができます。

これらの予測の精度については、弊社の実験段階においては非常に高い結果が得られています。この度のベータ版公開にて、より多くのユーザーの皆様からフィードバックをいただき改善することで、今後の一般公開を目指しています。
先行利用ユーザーを募集へ
miiboは、本日より上記「AI分析機能(ベータ版)」の先行利用ユーザーを募集します。
下記の条件を満たすmiiboのアカウントをお持ちのユーザーの皆さまはご応募いただけます。

【応募条件】
・miiboのアカウントをお持ちの方
・エンタープライズプラン / プレミアムプランをご契約中の法人様
・利用後、Aユーザーインタビューご協力いただける法人様
・精度の検証にご協力いただける法人様

ご応募いただいた方の中から、数社へ本機能の先行提供をさせていただきます。
応募状況次第では、全ての法人様にご提供できない可能性がございます。予めご了承ください。

【提供内容】
・1ヶ月間、miiboのアカウントへAI分析機能を開放 (プラス料金は不要)

【応募方法】
ご利用を希望の法人様は、下記のフォームからご応募ください。
https://forms.gle/NadbTLPTG459e2Yr5



プレスリリース提供:PR TIMES

このページの先頭へ戻る