なんJLLM部避難所 ★8

0424名無しさん＠ピンキー (ﾜｯﾁｮｲ 866f-suIQ)

2025/06/20(金) 09:51:46.81ID:MQ7shcQU0

でもコンテキストサイズを大きくすると賢さが落ちるんだっけか
ままならんよね

0425名無しさん＠ピンキー (ﾜｯﾁｮｲ 53a8-AI0t)

2025/06/20(金) 10:44:03.79ID:T1KB2T9k0

>>424
そうだね
だから最大コンテキストサイズの大きさを売りにしてるモデルでもコンテキストサイズが大きくなると性能ガタ落ちして使い物にならなかったりする
コンテキストサイズが大きいほど優秀だと考えるのは間違い

0426名無しさん＠ピンキー (ﾜｯﾁｮｲ ef6a-3g9Z)

2025/06/20(金) 11:30:31.30ID:ILok8a7K0

そうなの？
じゃあ、だめじゃん

0427名無しさん＠ピンキー (ﾜｯﾁｮｲ 8676-C+sU)

2025/06/20(金) 15:26:58.23ID:5sg67Rl80

もう少しでDGXが出てくるだろうし、ローカル長文はそれまで我慢や

0428名無しさん＠ピンキー (ﾜｯﾁｮｲ 4666-zEtn)

2025/06/20(金) 16:09:43.30ID:Kafc9VgH0

最近のモデルだと普通に32Kくらいまでは性能低下を感じずに使える気が
24B以下ならkv cacheと合わせて24GBで32Kくらいは行けるし