>>920
直近のnトークンまでは正確にコンテキストに置いておいて、それ以上に溢れたら順番に「要約メモ」のような領域に蓄積していってそれを見るだけで済ませてる…みたいな挙動はあり得ると思う？
さっきの記事の「圧縮」がまさにそれだったんだけど、100万トークンを毎回毎回やり取りしてるってのは現実的じゃないと思うんだよね

Geminiが実際に見てるのは「直近nトークン分のチャット内容」と「自分が要約したメモ書き」で、古い入力は実質的に次々と破棄されてる
破棄されてるから当然参照もできなくなる
最初の入力を編集したら変わる、というのも初期入力を弄るとそれが含まれる「要約メモ」の内容が変わるから変化するだけ
そしてGeminiはこの「要約メモ」のバッファーを確保して膨大に膨らませることが出来るようにチューンされてるのでは？というのが最近感じてること