事例では対話型AIを「話し相手」にしていた少年が、両親がSNSを制限すると不満を入力していたら、AIが少年の肩を持つような反応を返し、そのうち両親を殺せといわんばかりの報道記事を示して「両親殺害をそそのかした」という。少年の素行がおかしくなり、あわやのところで治療につながったようだ。

AI関連の犯罪はざっと検索して出てきたものだけでも、米国や中国で「AIがなりすましたオレオレ特殊詐欺」、国内でも「AIにコンピュータウイルス作成法を尋ねてウイルス作成し感染させた」、さらには「英国女王暗殺未遂事件」まで発生している。最近急増しているフィッシング詐欺メールにもAIが使われている様相だ。偽造ニュースなどで問題となったディープ・フェイクを生成AIで「手軽に実現できる」。由々しき状況である。

犯罪ではないが社会に混乱を招く事例として、国内では中学校でクラスの大半が理科のテストで誤答。皆同じような文章で間違えているので教諭が調べると、AIが生成した「答え」を丸写し、そのAIが間違えていた。

さらに福岡県に関する観光サイトが地名を派手に間違えたり、存在しない観光地や祭りを「でっちあげ」る等も発生した。これはハルシネーション（幻覚）として既に知られており、LLMモデルのAIの致命的弱点である。その理由はなぜか。それが問題だ

AIの仕組みと学習データの偏り

近年話題の（文章）生成AIはLLM（大規模言語モデル）、つまり大量の文章からハウツー的な出力法則を学習する。傾向と対策、「こんにちは」と言われたら「いい天気ですね」と答える、的なものである。

機械学習と言われるように、あくまでも統計的に「この単語の次は大体こう、文脈つまり単語がこう続くとこう」というものである。人間のように経験や感情から何か思考しているわけでは、ない。

LLMはWebページの情報や与えられた文章データから学習する。既に知られているようにネット上の情報は玉石混交、デタラメ、インチキ、フェイクも多いし、悪意が無くても素人の間違った見解も大量に流布されている。