「本100冊分」相当の1000万トークンに対応、桁違いに圧倒的なコンテキスト長

「Llama 4のもう一つの大きな特徴は、扱えるコンテキストウィンドウが飛躍的に大きくなったことです」と川崎氏は強調する。

　コンテキストウィンドウとは、AIが一度に理解・記憶できるテキストの量のこと。「作業メモリ」とイメージしてもいい。従来のOpenAIのモデルなどでは約12万8,000トークンが上限だったが、今回発表されたLlama 4 Scoutは、業界最長の1,000万トークンに対応する。これは従来の約78倍という圧倒的な差である。

「この桁違いのトークン数は実用面で大きな違いをもたらすでしょう。従来のAIモデルでは入力できる情報量に限りがありました。そのため、例えば長い文書の内容を理解させたり、複雑な指示を出したりする際には、情報を分割したり、要約したりといった工夫が必要でした。しかし、トークンが飛躍的に増えることで、例えば、分厚いマニュアル全体を読み込ませて特定の情報を引き出させたり、膨大な会話履歴をすべて記憶させた上で次の応答を生成させたりといったことがやりやすくなるでしょう」

　限られた作業スペースで工夫して問題を解決していた状態から、広大な作業スペースと潤沢な資料を与えられ、力技で問題を解決できるようになったようなものと言えるだろう。

　これまでは、外部の検索システムと連携させるなどして、必要な情報をその都度AIに与えるといった手法（RAG：Retrieval Augmented Generation）が一般的だった。しかし、Llama 4のような巨大なコンテキストウィンドウを持つモデルでは、必要な知識の多くを直接モデル内部に「埋め込む」ような使い方がより現実的になる可能性がある。

　ただし、トークンの量が爆発的に増えたからといって、単純には喜べない事情もある。

「いくら大量の情報を入力できたとしても、それをAIが適切に処理し、記憶し、活用できなければ意味がありません。人間がたくさんのビジネス書を読んでも、その内容が頭に残っていなければ役に立たないのと同じように、AIもまた、入力された情報を“理解”し、必要な時に“思い出す”能力が伴わなければ、単に情報が通り過ぎていくだけになってしまいます」

　この点に関しては、Llama 4が実際にどの程度の能力を発揮するのか、今後の検証が待たれるところだ。Meta社自身も、発表時点ではまだ限定的なテストしか行えていない可能性があり、その真価が明らかになるには時間がかかるかもしれない。