1回送信するたびにプロンプトとログを全部読み込んで計算して返答している、って理解でいいのかな?
だから途中でモデルを変えても問題無く続きを書いてくれるし、長く続けるとログが肥大化して加速度的にトークンの消費が激しくなる。

ってことは、「してください(5文字)」ではなく「しろ(2文字)」と書くことで細かく消費を抑えられる、みたいな工夫があったりするんだろうか?
こんな変更ではトークンとやらの量は変わらない?