なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
今ってQwen3-VL-235BとGLM4.6V以外に>100Bで日本語NSFWいけるVLMある？ >>978
サンガツやで
これcontext長＝kvキャッシュなんやろか
事前に確保するとVRAM量が増えるからkvキャッシュと思ったんやが会話が長くしたいなら12GB(model)+4GB(KVcache)
数回のやりとりで良いなら15GB(model)+1GB(KVcache)なんかなと思ったけど考え方はあってるやろか レス数が950を超えています。1000を超えると書き込みができなくなります。
