コンテキストウィンドウ

人工知能が一度に見て考えられる「作業机の広さ」です。

定義 コンテキストウィンドウとは、人工知能(AI)が一度に頭の中に広げて読める「短期記憶の作業台の広さ」のことです。AIと対話するときに入力した質問やこれまでの会話履歴、そしてAIがこれから出力する回答まで、すべてを含めて一度に処理できる最大のテキスト量を指します。

AIの机が狭いと、昔の会話を忘れてしまいます

机の上に広げられるノートや参考書の量を思い浮かべてみてください。テスト勉強をするとき、机が狭いと新しい本を開くために今まで見ていたノートを床に片付けなければなりませんよね。人工知能も人間のように、過去のすべての会話を脳の奥深くにずっと記憶しているわけではないのです。

人工知能は、私たちが新しい言葉を投げかけるたびに、これまでの会話の記録を机の上に最初から広げ直して読みます。しかし、この作業スペースの広さには物理的な限界があります。この限界を超えると、一番古い会話から机の外へ押し出されて完全に忘れ去られてしまいます。

会話が長くなると、さっきまで話していた自分の名前や最初に決めたルールをAIがうっかり忘れてしまうのは、まさにこれが理由です。コンテキストウィンドウは、AIが会話の流れを見失わずにいられる「短期記憶の容量」のようなものなのです。

コンテキストウィンドウの短期記憶限界と忘却概念図 コンテキスト窓(記憶領域) 維持される会話 新質問の入力 古い会話の押し出し(忘却)

正確に言うと、文字数ではなく「トークン」で測ります

私たちは普段、文章の量を文字数やページ数で数えますが、人工知能の世界ではトークン(Token)という単位で計算します。トークンとは、AIがテキストを細かく区切って理解する単語のかけらの最小単位です。英語なら1単語がおおよそ1トークン前後になり、日本語の場合は1文字や1単語が複数のトークンに分解されることもあります。

コンテキストウィンドウで最も重要なのは、自分が送った質問(入力)とAIが作成する回答(出力)が、この作業スペースを分け合って使っているという点です。もし許されたトークンの上限が8,000個で、質問と過去の会話ですでに7,000トークンを占めていたら、AIは1,000トークン分の短い回答しか作ることができません。

最近ではこの机の広さが飛躍的に広がり、数十万〜数百万トークンを扱えるモデルも登場しました。おかげで、分厚い専門書1冊や何百ページもある企業の決算レポート全体をまるごと机の上に載せて、一度に分析して要約することが可能になりました。

机が広くなれば、無条件に賢くなるのでしょうか?

机がサッカー場のように広くなれば、いくらでも多くの本を広げておけますが、その中から探したい1行を素早く見つけるのはかえって難しくなることがあります。AI研究者たちはこれを「干し草の中から針を探す」問題と呼んでいます。文章の量が膨大になりすぎると、文章の真ん中あたりに書かれた重要な情報を見落とす現象が実際に起こるのです。

もうひとつの問題は、コンピューターのリソース(計算資源)です。AIが一度に考慮すべき単語が2倍になると、単語同士の関係を計算するための処理量はそれ以上に跳ね上がります。それだけ高性能なグラフィックチップや膨大な電力が必要になり、回答スピードも目に見えて遅くなってしまいます。

結局のところ、ただやみくもにコンテキストウィンドウを広げれば良いというわけではありません。そのため現代のAIシステムは、必要な文書だけを賢く検索して机の上にピンポイントで載せてくれる検索技術(RAGなど)と組み合わせる方法へと進化しています。

コンテキスト窓の中間忘却現象 記憶精度の変化 文書冒頭(鮮明) 文書中間(情報忘却) 文書末尾(鮮明)

🤔 よくある誤解

✕ 誤解

人工知能はユーザーと交わしたすべての会話を一生記憶し続ける。

✓ 事実

人工知能は毎回コンテキストウィンドウのサイズ分の直近の会話を読み直しているだけで、その範囲から押し出された過去の会話は完全に忘れてしまいます。

🧺 日常で出会う場面

1 会話が長くなりすぎると、AIが最初に伝えた名前や口調の設定を忘れてちぐはぐな返答をしてしまう。
2 何百ページもあるPDFの論文を丸ごとアップロードして一度に要約してもらえるのは、広いコンテキストウィンドウのおかげです。
💡 つまり ひとことで

AIが一度に処理・記憶できるテキストの最大作業スペースのことです。