0423名無しさん＠ピンキー (ﾜｯﾁｮｲ bb33-I7Wt)2025/06/20(金) 04:13:34.96ID:J0XU/8yL0 KoboldCppなら、バッチサイズみたいな名前のパラメーターを64ぐらいまで減らせば、コンテキスト長増やしてもVRAMあまり使わない。はず。 減らすとトークンを読む速度が遅くなるけど、小説やロールプレイならあまり気にならないかも。
0424名無しさん＠ピンキー (ﾜｯﾁｮｲ 866f-suIQ)2025/06/20(金) 09:51:46.81ID:MQ7shcQU0 でもコンテキストサイズを大きくすると賢さが落ちるんだっけか ままならんよね
