AIチャットボットは、数秒で整った自信に満ちた回答を返すことができます。しかし、その回答の中には、存在しない本、一度も語られたことのない引用、あるいは間違った日付が含まれていることがあります。AIがこのような流暢かつ虚偽の情報を生成することを「ハルシネーション」と呼びます。これは、AIを便利なツールとして使用する際に理解すべき最も重要な制限の一つです。
なぜハルシネーションは起こるのか?
大規模言語モデルは、膨大な量のテキストから学習したパターンに基づいて、文中の次に続く最も可能性の高い単語を予測します。データベースを検索しているわけではなく、自分が言っていることが真実であるかを本質的に知っているわけではありません。モデルが特定のトピックについて十分な一貫性のあるデータを確認していない場合、「わからない」と言う代わりに、正しそうに聞こえる回答を生成することがあります。また、モデルのトレーニングには一定の期限があるため、最近の出来事を知らなかったり、古い情報を現在のものとして提示したりする場合があることにも留意する必要があります。
どこで最もよく見られるか?
- 情報源と参考文献:現実的だが存在しない記事、書籍、ウェブアドレス。
- 引用:有名人が実際には言っていない言葉。
- 数字と日付:統計、パーセンテージ、生年月日、没年月日。
- あまり知られていないトピック:地元の人物、小規模な組織、新製品、ニッチな分野。
- 法律、医療、金融:誤った情報が重大な結果を招く可能性のある分野。
実際の事例
2023年に米国で起きた訴訟において、弁護士がチャットボットによって生成された存在しない裁判所の判例を提出書類に引用しました。裁判官はこれらの判例が架空のものであることを見抜き、弁護士らに罰金が科されました。この出来事は、確認を行わずに公式な業務でAIの出力を使用するリスクを示す最も有名な例の一つとなりました。
身を守る方法
- 情報源を求め、確認する:リンクをクリックし、実際にその本や記事を調べてみます。
- 重要な情報は一次資料で検証する:公式機関、出版社、または専門家のページを頼りにします。
- 最新のトピックには検索ベースのツールを使用する:ウェブを検索して情報源を引用するアシスタントは最新のトピックにおいてより信頼性が高いですが、それでも間違いを犯すことがあります。
- 不確実性について尋ねる:「どの程度確信がありますか? どの部分に異論がありますか?」といった質問は、弱点を明らかにすることができます。
- 同じ質問を別の方法で尋ねる:回答同士が矛盾している場合は注意が必要です。
- 健康、法律、お金については専門家に相談する:AIは背景知識には役立ちますが、専門的な助言の代わりにはなりません。
開発者たちの取り組み
AI企業は、モデルが確信持てないときにそれを認めるよう促すトレーニング方法や、信頼できる文書に基づいて回答を裏付ける「検索拡張生成(RAG)」技術、引用機能を開発しています。これらの方法によりエラーは減少しますが、完全に排除することはできません。したがって、最も安全なアプローチは、AIをドラフト作成やブレインストーミングのパートナーとして扱い、最終的な決定は検証された情報に委ねることです。
よくある質問
ハルシネーションはテキスト生成AIでのみ発生するのか?
いいえ。画像生成モデルでも、指が多すぎる手や意味のないテキストなど、存在しない詳細が追加されることがあります。同様のエラーは音声や動画のモデルでも発生する可能性があります。
情報源と参考文献
- Mata v. Avianca, Inc., U.S. District Court for the Southern District of New York, sanctions order of 22 June 2023.
- NIST, “Artificial Intelligence Risk Management Framework: Generative AI Profile” (NIST AI 600-1), 2024.
- Ziwei Ji et al., “Survey of Hallucination in Natural Language Generation”, ACM Computing Surveys, 2023.
コメントを残す
メールアドレスは公開されません。必須項目は * でマークされています