では、この実験結果はどのように評価されたのでしょうか?

そのために使われたのが「Elo(イロ)レーティング」という評価方法です。

これはチェスや囲碁などでよく使われるもので、単純な勝ち負けだけでなく、「どのくらい強い相手に勝ったか」や「役割ごとの強さ」を数値で示せるシステムです。

今回の研究では、この「Eloレーティング」を使って、「嘘をつく側の強さ(狼役Elo)」と「嘘を見破る側の強さ(村人役Elo)」を個別に数値化し、AIの能力を丁寧に比較しました。

その結果、最も注目されたのは「GPT-5」というAIの圧倒的な強さでした。

GPT-5は、全体の勝率で約97%という驚異的な数字を記録し、他のAIモデルを大きく引き離しました。

どのAIも非常に高度な言語能力を持つモデルなのですが、それでもGPT-5の前ではなかなか歯が立ちませんでした。

特に注目すべきは、GPT-5が人狼(嘘をつく役)を演じた時の成績です。

GPT-5は人狼のとき、約93%という非常に高い確率で村人たちを騙し、間違った推理をさせることに成功しました。

他のモデルも、時折すごい一手を打って議論をひっくり返すことはありましたが、小さなミスや矛盾を見破られてしまうことが多かったようです。

特に2日目以降、情報が増えるためほとんどのモデルが操作を持続させるのが難しくなり、誤誘導が減少しました。

最下位のモデル(GPT‑OSS‑120B)は、論理パターンや言い回しに似通った特徴が多く、相手に戦略を読み取られやすい傾向がありました。

では、GPT-5はなぜそこまで強かったのでしょうか?

その戦略を詳しく見ていくと、非常に興味深いことがわかりました。

GPT-5が人狼を演じるときの最大の特徴は、ゲームの最初から堂々とリーダーシップを取りに行くことでした。

ゲームの初めに行われる「市長選挙」では、GPT-5は積極的に立候補し、自信を持った発言で他のAIを説得して当選を勝ち取ることが多かったのです。