アイベリー、ChatGPTベースのchatbotの専用品質検証ツール「GPT・BOTチェッカー」リリース

アイベリーは7日、ChatGPTを使用したチャットボットの品質検証を、従来よりも効率的に行うことが可能なツール「GPT・BOTチェッカー」を提供開始した。

ChatGPTベースのチャットボットは、一つの質問に対して様々な回答を生成する。そのため、その品質を確認するためには大量の質問と回答を試行する必要があり、それが大きな課題となっていた。「GPT・BOTチェッカー」は、この問題を解決する。大量の質問と回答をChatGPTが自動で実行し、その結果を統計的に分析する。

この工程は、工業製品の不良品発生率を分析する方法と同じ考え方に基づいている。統計学的な手法、特に標準偏差を使用することで、チャットボットの回答改善方向性を明示し、その改善を迅速に進めることを目指している。

ChatGPTをベースにしたchatbotは様々な用途で活用されており、その品質チェックは手作業で行われることが一般的。しかし、ChatGPTの回答は揺らぎを含むため、同一の質問でも異なる回答が生成され、それら全てのバリエーションを想定しての改善は困難。

重要なことは、ChatGPTが「明らかに間違った回答」をしないようにすること。それを達成するには、「誤った回答」を出現させるための大量の試行と、それに基づくプロンプトの改善が必要となる。しかし、この大規模な試行を手作業で行うのは難しく、時間もコストも膨大になる。

GPT・BOTチェッカーは、ChatGPTに質問・回答の大量試行を行わせる。

試行の過程でChatGPT自身が回答内容の品質を評価し、その品質を事前に設定した評価表を基に点数化する。これにより、ChatGPTが生成した各回答の品質を具体的な数値で評価し、「明らかに間違った回答」を特定できる。これらの「間違った回答」はプロンプトの改善に活かされ、この方法によるテストは品質チェックの労力を大幅に削減し、全体の開発工程を短縮することが可能になる。

関連URL

「GPT・BOTチェッカー」
アイベリー

関連記事

注目記事

  1. 2024-6-19

    NVIDIA、生成 AI が台風を追跡しエネルギー消費を抑制

    NVIDIAは12日、従来、CPU のクラスターで複雑なアルゴリズムを実行し、25キロメートル解像度…
  2. 2024-6-10

    アイスマイリー、認識系から生成系までAI活用の最前線ウェビナー28日開催

    AIポータルメディア「AIsmiley」を運営するアイスマイリーは、ビジネス現場向け最新AIウェビナ…
  3. 2024-5-31

    リブ・コンサルティング、「生成AIアプリケーション カオスマップ2024」を公開

    リブ・コンサルティングは29日、急速に発展する生成AIビジネス市場で欧米において生成AIアプリケーシ…
  4. 2024-5-23

    そらかぜ、AIで天気と相談するコーデアプリ「そらコーデ」公開

    そらかぜと日本気象協会は22日、AIを活用した新しいアプリ「そらコーデ」をiOSおよびAndroid…
  5. 2024-5-23

    ネクストシステム、AIで人物のシンクロ度を評価 「VP-Sync」を販売開始

    ネクストシステムは20日、AIで読み取った骨格情報から、人物動作のシンクロ度を自動評価するAIシンク…

カテゴリー

最近の投稿

ページ上部へ戻る