これは、小さいAIが単語の意味の違いを細かく認識するのが難しいためです。

一方、大きなAIでは、意味の豊かさと出現頻度の関係がはっきりと現れ、法則がより明確に観察されました。

また、AIの「種類」によっても結果が変わることがわかりました。

たとえば、BERT(バート)というAIは、単語の前後にある文章全体を参考にして意味を判断するマスク型モデルです。

一方、GPT-2(ジーピーティー・ツー)は、過去に書かれた単語の流れだけを見て、次に来る単語を予測する自己回帰型モデルというタイプのAIです。GPT-2は文章の「後ろ」にある文脈は使えません。

このGPT-2を使った場合、法則が明確に現れるためには、非常に大きなモデル(GPT-2 XL、約15億パラメータ)が必要でした。

これは、BERTのように前後の文脈を使えるAIに比べて、GPT-2のように過去の文脈しか使えないAIは、同じ法則を見つけるのにより大きな処理能力が必要だということを意味します。

このように、研究チームの一連の実験から、AIが単語の意味を正しく見分けられるかどうかを調べるための「新しい評価のものさし」として、「意味‐頻度の法則」が使える可能性が示されました。

今後、AIの語彙力(ごいりょく)をチェックする新しい方法として、活用されるかもしれません。

【まとめ】言葉の進化を支える“省エネ構造”

【まとめ】言葉の進化を支える“省エネ構造”
【まとめ】言葉の進化を支える“省エネ構造” / Credit:Canva

今回の研究でわかった最も大切なことは、「よく使われる言葉ほど、多くの意味を持つようになる」という法則が、多くの言語で成り立つ可能性が高いということです。

これは、私たちが毎日何気なく使っている言葉の背後に、世界中の言語に共通する深い仕組みが隠れていることを示しています。

では、なぜよく使う言葉ほど意味が増えるのでしょうか?

これを理解するためには既存の研究結果が役立ちます。