ChatGPTも長くなりすぎると制限かかるんじゃなかったっけ
コンテクスト長が大きすぎるといざ制限がかかった時に移動させようがなくて積むから、中程度の長さのチャットを繰り返させるほうが妥当なデザインなのでは
過去のチャット履歴を必要な時には参照できます、という機能だけあれば良さそう