サンフランシスコを拠点に、AIコードツールの開発をてがけるMagicは、今年8月、Googleの元CEOであるエリック・シュミット氏らから3億2,000万ドルの大型投資を受けた。これによるMagicの総資金調達額は、4億6,500万ドルに及ぶ。

Magicは、エリック・スタインバーガー氏とセバスチャン・デ・ロ氏によって2022年に設立されたスタートアップ。現在は製品を開発中の最中にあり、まだ収益はあげていない。GitHub CopilotがリードするAIコードツール市場で、製品化前にもかかわらず投資家の関心をよぶ理由として、Magicは1億トークンの生成AIモデルがもたらす革新性を強調する。

長い文脈に沿った推論の精度向上に期待

Imnage Credit: Magic

Magicは、はじめての1億トークンモデルとして「LTM-2-mini」を訓練中だ。1億トークンは約1,000万行のコード、または約750冊の小説に相当する。

生成AIの“モデル”とは、生成AIの中核となるLLM（大規模言語モデル）のことだ。LLMにおけるトークンとは、テキストデータを解釈・処理する際の最小単位のことを指す。トークン化（トークナイゼーション）と呼ばれる前処理により、文章は単語、句読点、数字などの要素に分割され、分割された1つ1つの要素がトークンとなる。このLLMが一度に処理できる最大のトークン数のことを、コンテクストウィンドウのサイズという。

いままでの小さいコンテクストウィンドウでは、読み込んだコードの限られた部分からしか推論に使うことができなかった。しかしMagicの“超長”コンテクスト（Ultra-Long Context）のサイズが大きいということは、すべてのコード、ドキュメント、ライブラリのすべてからの推論が可能になるということだ。これにより長い文脈（コンテキスト）に沿った推論の精度の大幅な向上が期待できる。