AIモデルの「コンテキストウィンドウ」という言葉を聞いたことがあるでしょうか。これはモデルが一度に処理できるテキストの長さを表す指標で、いわばAIの「作業記憶」のようなものです。このコンテキストウィンドウに、とんでもない数字が飛び込んできました。

Subquadraticとは何者か

マイアミを拠点とするスタートアップ「Subquadratic」が、1200万トークンという前例のないコンテキストウィンドウを持つAIモデル「SubQ」を発表しました。1200万トークンというのは、ざっくり言えば書籍にして数十冊分のテキストを一度に読み込めるということです。現在の主要モデルが数十万〜数百万トークン程度であることを考えると、桁違いのスケールだと感じます。

しかも同社は、GPT-5.5をリトリーバルベンチマークで上回る性能を示したと主張しています。さらに将来的には5000万トークン対応のモデルも計画しているとのことです。

なぜコンテキストの拡大は難しいのか

ここで少し技術的な話になりますが、現在のTransformerアーキテクチャには「二次的スケーリング問題」と呼ばれる根本的な課題があります。コンテキストの長さが2倍になると、注意機構（Attention）の計算コストが4倍に膨れ上がるんですよね。3倍なら9倍、10倍なら100倍です。

つまり、単純にコンテキストを長くするだけでは、必要な計算資源が爆発的に増えてしまい、実用的ではなくなります。これがこれまで超長文コンテキストの実現を阻んできた最大のボトルネックでした。

Subquadraticは社名そのものが「サブ二次（subquadratic）」を意味していて、この問題を正面から解決しようとしています。同社の主張によれば、完全にサブ二次なアーキテクチャを採用し、コンテキスト長に対して計算コストが線形にスケールする仕組みを実現したそうです。従来のフロンティアモデルと比較して、注意機構の計算量を約1000分の1に削減したとも述べています。

これが本物なら何が変わるのか

もしSubquadraticの主張が事実であれば、AIの使い方は根本的に変わる可能性があります。

まず、RAG（検索拡張生成）の必要性が大幅に減ります。現在は大量のドキュメントをAIに読ませるために、関連部分だけを検索して切り出す仕組みが必要です。しかし1200万トークンのコンテキストがあれば、ドキュメント全体をそのまま投入できるケースが格段に増えます。

次に、コードベース全体の理解が容易になります。大規模なソフトウェアプロジェクトのコードを丸ごとモデルに読み込ませて、横断的な分析や改修を依頼するといった使い方が現実的になります。

さらに、長期的な対話の文脈維持が可能になります。数日〜数週間にわたるプロジェクトの全会話履歴を保持したまま作業を続けられるようになるかもしれません。

研究者からの冷静な視線

ただし、ここで注意が必要です。AI研究者コミュニティからは、Subquadraticの主張に対して独立した検証を求める声が上がっています。「1000倍の効率改善」という数字はあまりにも大きく、実際のベンチマーク条件や比較対象の詳細が明らかになるまでは、慎重に見る必要があると思います。

過去にも、革新的な効率改善を謳って注目を集めたものの、独立した再現実験で主張通りの結果が得られなかったケースは少なくありません。特にスタートアップの場合、投資家へのアピールと純粋な技術的成果の境界が曖昧になりがちです。

まとめ

Subquadraticの挑戦は、AIの根本的な制約に切り込む意欲的なものです。もし本物であれば、これまで「コンテキストが足りない」という理由で諦めていた多くのユースケースが実現可能になります。

一方で、独立した検証が完了するまでは「興味深い主張」の段階にとどまります。私としては、技術的なブレイクスルーへの期待と、健全な懐疑のバランスを保ちつつ、今後の続報を追いかけていきたいと思います。コンテキストウィンドウの競争は、まだまだ始まったばかりです。

← ブログ一覧に戻る