AIに「これは答えてよい」「これは答えてはいけない」と教えるだけなら、話はもう少し簡単だったかもしれません。ところが実際の会話では、そう単純にはいきません。正直に答えるべき場面もあれば、危ない依頼を断るべき場面もあります。ユーザーの希望に応えたい一方で、サービスを運営する側のルールも守らなければなりません。
そのため、AIを開発する各社は、モデルに守らせたい振る舞いを長いルール集としてまとめるようになっています。AnthropicがClaude向けに用意した「憲法」や、OpenAIがGPT向けに用意した「Model Spec」はその代表です。そこには、危険な情報を出さないことだけでなく、うそをつかないこと、ユーザーを誤解させないこと、運営者の指示とユーザーの指示が食い違ったときの考え方まで書かれています。
各社のAIはこうしたルールを守る力は上がってきました。少し前には起きていた深刻な失敗が、最新に近い世代では見られなくなっている例もあります。ただ、全部がきれいに解決したわけではありません。守れるようになったルールと、いまだに破られるルールの間には、かなりはっきりした境目があります。
この境目は、将来のAI活用を考えるうえで大事です。今後、AIがただ文章を返すだけでなく、社内システムを操作したり、ファイルを更新したり、メールを送ったりする場面は増えていきます。そのときに、「モデルに任せてよいこと」と「人間側で仕組みを作って止めるべきこと」を分けておかないと、便利さがそのままリスクになります。
