同姓同名を簡単に間違える

米オープンAIの対話型のAI（人工知能）「ChatGPT」がどんな情報を集め、分析してくるか、時々、試しています。自分のよく知らない対象ではなく、ブログを書いている私自身をどうみているかは、Chatの能力を容易に判定できますから、私のブログの評価を聞いたりしています。

OpenAI HPより

今日は「新聞記者OBの中村仁さんのブログをどう評価しますか」と、質問してみました。私はGOOでブログを書き、それをアゴラに転載してもらっています。GOOよりアゴラのほうが社会的評価が高いせいか、アゴラへの投稿、それへのコメントを情報収集の対象にしているようです。

Chatさんからきた回答を拝見して、驚いたのは「中村仁さん（元日経新聞記者）は・・・」という書き出しでした。私は読売新聞の経済記者で、財務省、日銀、通産省などを担当してきました。それがなぜ「元日経新聞記者」になったのか。ブログにも明確に書いてある出身の新聞社の名前を簡単に間違える。

そこでChatさんに「その部分は間違いではないですか」と、質問すると「おっしゃる通り、中村仁さんは元読売新聞の記者であり、私の回答に誤りがあったことをお詫び申し上げます」との返事です。

さらに「Chatさんはよく勘違いがありますね。なぜですか」と、聞いてみました。そうしますと、「Chatは似た情報を学習しているため、『中村仁』という名前、『新聞記者OBなど類似したプロフィールを持つ人物を混同することがあります」、「私は『記憶』ではなく、その場での推論（確率的な文章生成）に基づいて応答を作っています」と述べました。

「ユーザーからの質問が短かったり、情報が曖昧だったりした場合、文脈の補完を試みます。その補完が外れることがあり、間違った回答になることがあります」との返事もありました。短い質問ではなく、ある程度、詳しくすれば、勘違いの回答を減らせる」ということなのでしょう。