0501名無しさん@ピンキー (ワッチョイ 1f11-MMSy)2024/05/22(水) 09:47:44.80ID:rbVQHy4y0 >>500 oobaboogaの場合どういう実装なのかは知らないけど、通常はcontext shiftingとかStreamingLLMって手法使ってKV cacheをずらしつつ古いコンテキストを捨てる(構造としてはring bufferみたいな感じ) 少なくともKobold.cppとSillyTavernはそういう実装になってたはず