0422名無しさん＠ピンキー (ﾜｯﾁｮｲ 53a8-AolJ)2025/06/20(金) 02:50:43.58ID:T1KB2T9k0 >>421 いや遅いよ サーバー向けCPUならだいぶマシになるけど
0423名無しさん＠ピンキー (ﾜｯﾁｮｲ bb33-I7Wt)2025/06/20(金) 04:13:34.96ID:J0XU/8yL0 KoboldCppなら、バッチサイズみたいな名前のパラメーターを64ぐらいまで減らせば、コンテキスト長増やしてもVRAMあまり使わない。はず。 減らすとトークンを読む速度が遅くなるけど、小説やロールプレイならあまり気にならないかも。
0424名無しさん＠ピンキー (ﾜｯﾁｮｲ 866f-suIQ)2025/06/20(金) 09:51:46.81ID:MQ7shcQU0 でもコンテキストサイズを大きくすると賢さが落ちるんだっけか ままならんよね
