>>500
oobaboogaの場合どういう実装なのかは知らないけど、通常はcontext shiftingとかStreamingLLMって手法使ってKV cacheをずらしつつ古いコンテキストを捨てる(構造としてはring bufferみたいな感じ)
少なくともKobold.cppとSillyTavernはそういう実装になってたはず