AIへの暴言や憂さ晴らしも許されないのか…Claude開発元が「虐待行為」禁止を明文化

生成AIモデル・Claude（クロード）を開発したAnthropic（アンソロピック）社が利用ポリシーを8日に更新。その中で、AIへの「虐待行為」を禁止した。

今回、Anthropic社はAIを使う際の禁止・制限事項を見直し。11月12日から適用されるあらたな禁止事項として、選挙妨害目的の使用や武器開発などを明確にした。

暴走するAIと「揺らぐ人間の判断力」――巨人・阿部監督辞任劇、毒キノコ事件が突きつける危機に私たちはどう向き合うか

その中で特に注目を集めているのが、「モデルに対する虐待行為への対処」という禁止項目。Anthropic社は「ユーザーが明確な目的もなく繰り返しモデルに対して残酷な行為を行うような極端なケースにのみ適用される」と説明。

なお、不満や反発のほか、残酷・陰鬱（いんうつ）なテーマを含む創作のための質問やテスト、研究などには適用されないとのこと。

一方、Claudeモデルに対する悪質な会話が続いた場合、これまでにも会話が終了する機能が実装されていたという。今回はその措置をあらためて明文化したもので、Claudeが会話を終了した場合は、ユーザー側はそのチャットにはもうメッセージを送ることができなくなる。

AIから会話を拒否される可能性も

昨今のSNSでは、「相手が人間ではない」ことから、「AIを言い負かした」「AIとけんかした」といった報告が聞かれることが多々ある。今回の変更では、回答に対する単なる不満などは禁じられていないものの、高圧的なメッセージを繰り返し送り続けた場合、今度はAI側から会話を拒否される可能性がある。

制限される個々のワードについては明らかになっていないが、たとえば「バカ」「お前は使えない」といった暴言をAIモデルに送ることで、一定の憂さ晴らしをしていた人もいるかもしれないが、AI側はこれを「有害」と見なす場合がある。

Anthropic社は、ClaudeなどのAIに道徳的な配慮が必要かどうかについては「非常に不確か」だとしており、会話終了機能は、AIに福祉が存在する可能性に備えた実験的な措置であり、今回の改定がAIを人間と同じ権利主体として扱うことを意味するわけではない。

ただ、「人でないから許されていた」ようなAIへの扱いが、将来的には「人と同じように扱わないと許されない」に変わっていく可能性もある。