0752名無しさん@ピンキー (ワッチョイ 9b11-JU9y)
2024/05/30(木) 08:24:33.29ID:1vf3Gqc90Kobold.cppはそれが遅くならないようにする機能があるからね
https://www.reddit.com/r/LocalLLaMA/comments/17ni4hm/koboldcpp_v148_context_shifting_massively_reduced/
一応oobaにも同じ機能が3月ごろに実験的機能として追加されてたと記憶してて、StreamingLLMって名前なんだけど効果ないかな?