「AIが書いた文章を見分けるにはどうすればよいか?」という問いは、教師から編集者まで、あらゆる人々にとっての課題です。結論から言うと、驚くべきことに、ある文章がChatGPTのようなツールで書かれたものであると確実に証明する方法は存在しません。いわゆるAI検出ツールはヒントを与えてくれるかもしれませんが、誤っていることも多々あります。
AI検出ツールはどのように機能するのか?
これらのツールは、文章がどれほど「予測可能」かを測定します。言語モデルは各ステップで最も可能性の高い単語を選ぶ傾向があるため、平坦で均一な文章はAIによるものとしてフラグが立てられる可能性があります。問題は、シンプルかつ正確に書く人間も同様の特徴を示す場合があるということです。
なぜAI検出ツールは信頼できないのか?
- 誤判定(偽陽性):スタンフォード大学の研究者による2023年の調査では、一般的な検出ツールが、英語を母国語としない書き手による文章を、非常に高い確率でAI生成と判定したことが明らかになりました。
- 騙されやすい:文章を少し書き直したり、別のツールで編集したりするだけで、スコアは劇的に変化します。
- 開発元でさえ慎重:OpenAIは、精度の低さを理由に、2023年に独自のテキスト分類ツールを公開終了しました。
AIが書いた可能性のある文章の兆候
これらは単独では証拠になりません。あくまで、より詳しく調べるための理由に過ぎません:
- 個人的な経験や独自の例がなく、トピックに関する一般的な記述に終始している。
- 存在しない情報源、捏造された引用、または誤った日付(AIの「ハルシネーション」)。
- 学生や書き手の過去の作品とは明らかに異なる文体。
- 質問された内容に対してではなく、どんな質問にも当てはまるような一般的な構成。
教師や編集者は何をすべきか?
- プロセスを確認する:下書き、メモ、バージョン履歴は、最終的な文章よりもはるかに多くの情報を与えてくれます。
- 短い対話を行う:著者に内容を説明してもらうことは、最も信頼できるチェック方法の一つです。
- 情報源を確認する:捏造された参考文献はすぐに露見します。
- 明確なルールを設定する:AIをいつ、どのように使用してよいかを事前に明示します。
よくある質問
TurnitinはAIを検出できますか?
TurnitinのようなプラットフォームはAI指標を提供していますが、これも確率的な推定値に過ぎません。開発元自身も、スコアのみに基づいて判断を下さないよう助言しています。
GoogleはAIが書いたコンテンツにペナルティを与えますか?
Googleは、コンテンツがどのように作成されたかよりも、それが有益で正確かつ独創的であるかどうかを重視すると述べています。検索順位を操作するためだけに大量生産されたコンテンツは、同社のポリシーに違反します。
参考文献
- Liang et al., “GPT detectors are biased against non-native English writers”, Patterns, 2023.
- OpenAI, “New AI classifier for indicating AI-written text” (2023年7月更新).
- Google検索セントラル, AI生成コンテンツに関するガイダンス.
コメントを残す
メールアドレスは公開されません。必須項目は * でマークされています