ChatGPT と長く話してたら、さっき言ったことを忘れられた」 「コンテキストウィンドウ」「100万トークン」… AI を使っていると、ちょこちょこ出てくる言葉。

よく聞くけど何? コンテキストウィンドウ
図1:よく聞くけど何?「コンテキストウィンドウ」

LLM APIの記事 では「AI を自分のアプリから呼び出すしくみ」を見ました。今回は、その AI が どれくらい “覚えていられる” のか——コンテキストウィンドウ を、ふんわり見ていきます。

コンテキストウィンドウってなに?

ざっくり言うと、コンテキストウィンドウは AI が一度の会話で覚えていられる情報量の上限 です。

コンテキストウィンドウ=AIの作業机の広さ
図2:コンテキストウィンドウ=AIの「作業机の広さ」

イメージは 作業机の広さ。 AI は、あなたとの会話を 机の上に資料を広げるように 覚えています。机が広ければたくさんの資料を広げたまま作業できるし、狭ければ少ししか置けない。この 「机の広さ」 にあたるのが、コンテキストウィンドウです。

  • コンテキスト = 机に広げる資料(会話の中身)
  • コンテキストウィンドウ = それを置ける机の広さ(覚えていられる上限)

なんで「忘れる」の?

長く話していると AI が前の話を忘れるのは、この 机が一杯になる からです。

狭い机はすぐ一杯/広い机はたくさん置ける
図3:狭い机はすぐ一杯/広い机はたくさん置ける

机にはサイズがあります。会話が長くなって資料が増えてくると、だんだん机が埋まっていく。そして 置ききれなくなると、古い資料から片付け はじめます。

  • 会話が短いうち → 全部の資料が机に乗っている=ちゃんと覚えてる
  • 会話が長くなる → 机が一杯 → 古い資料を片付ける=さっきの話を忘れる

→ つまり「AI が忘れる」のは頭が悪いからではなく、机(覚えておける量)に限りがある から。人間が一度に持てる荷物に限界があるのと同じです。

AI は毎回、机の上を全部見直してる

ここが、人間と AI の 決定的に違う ところ。

AIは応答のたびに机の上を全部見渡している
図4:AIは応答のたびに、机の上を全部見渡している

人間は「さっき読んだから覚えてる」で済みます。でも AI は違って、返事をするたびに、机の上の資料を毎回ぜんぶ見直して います。

だから——

  • 机に資料が少ない(会話が短い)→ 見直しがすぐ終わる=速い・軽い
  • 机に資料が山盛り(会話が長い)→ 毎回ぜんぶ読み直す=遅く・重くなる

→ 「長い会話だと AI の反応がもたつく」のは、この 毎回の全見直し が理由。机を広げるほど、1回ごとの作業が重くなるんです。

「急に忘れた」の正体

会話の途中で、AI が 急にガクッと話を忘れる ことがあります。これにも名前があって、コンパクション(compact=圧縮、から来た言葉)と呼びます。Claude Code のような AI 作業ツール でよく見られる仕組みです。

資料の山 → 要約メモ1枚 → 細部が消える
図5:机が一杯 → 要約メモ1枚にまとめる → 細部が消える

机が一杯になりかけると、ツールは それまでの会話を「要約メモ1枚」にまとめて、元の細かい資料を捨てる ことがあります。これがコンパクション。

  • メモに残った大事な要点 → 覚えてる
  • メモに入りきらなかった細部 → 消える

→ 「さっきまで覚えてたのに、急にふわっと忘れた」と感じる正体がこれ。机を片付けて作業スペースを作るために、要約して圧縮している わけです。

一方、普段使う 多くの会話AI では、机が一杯になると 古い会話から順に床に下ろす(=古いやり取りから順に切り捨てる)方式もよく使われます。どちらも「忘れる」結果は同じでも、裏の片付け方が違う ことがある、というわけです。

広い机(大きいコンテキスト)も登場してる

最近は、この 机そのものを何倍にも広げた AI も出てきています。

広い机ならたくさん広げたまま作業できる
図6:広い机なら、資料を広げたまま忘れずに作業できる

机が広いと、長い会話でも資料を 広げたまま 保てるので、コンパクション(要約して捨てる処理)がほとんど起きず、最初に話したことを覚え続けられる。本一冊まるごとを机に乗せて、隅々まで踏まえて答える——そんな使い方もできます。

ただし、いいことばかりではありません。

  • 広い机ほど、毎回の見直しに時間がかかる=1回ごとが重くなる
  • 短いやり取りなら、普通の机でも十分に事足りる

→ だから「広ければ広いほど正義」ではなく、用途に合わせて選ぶ もの。普段は普通の机で十分、本一冊を読ませるような大仕事のときだけ広い机を借りる、というイメージです。

ちょっと雑学:この記事を書いてる最中も起きてました

  • 実はこの記事、運営者の ken と AI が長くやり取りしながら作っています
  • その途中で何度か コンパクションが発生——会話が長くなって机が一杯になり、それまでのやり取りが「要約メモ1枚」にまとめ直されました
  • まさに本文で説明した「机を片付ける」瞬間を、書きながら地で体験しています

まとめ

コンテキストウィンドウのすべて、これ1枚で
図7:コンテキストウィンドウのすべて、これ1枚で

ふんわり理解チェック

  • コンテキストウィンドウ=AIが一度に覚えていられる情報量の上限(=作業机の広さ)
  • 長い会話で忘れるのは、机が一杯になって古い資料から片付けるから
  • AIは応答のたびに机の上を全部見直す→広げるほど反応が重くなる
  • 急に忘れる正体は「コンパクション」(要約メモ1枚に圧縮する処理/AI作業ツールで見られる)

AI が忘れるのは、頭が悪いからではなく 机の広さに限りがある から。そう分かると、「長い相談は要点を先に伝える」「大事な情報はこまめに貼り直す」——AI とうまく付き合うコツも見えてきます 🌱