なんJLLM部避難所 ★9

0614名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f5c-Kg++)

2025/10/13(月) 16:28:39.28ID:RZwn7dlz0

しかし、80Bとかどういうグラボ使えば動くんやろ…
まさか一般ユーザーでVRAM容量100B超えのグラボを持ってるとか？

0615名無しさん＠ピンキー (ｽﾌﾟｰﾌﾟ Sd7f-h39Y)

2025/10/13(月) 16:32:45.80ID:kgKIZVzsd

>>614
メインメモリにオフロードで激遅くん

0616名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f5c-Kg++)

2025/10/13(月) 16:35:56.30ID:RZwn7dlz0

>>615
なるほどサンクス

0617名無しさん＠ピンキー (ﾜｯﾁｮｲ 7b92-xZYU)

2025/10/13(月) 16:43:19.21ID:jFsc8zQj0

個人で中古B100持ってる人いたな
仕事でa100 4つ使った時は超喜んでたなー
deepseek-r1とか軒並み大きな奴をロードできたし

0618名無しさん＠ピンキー (ﾜｯﾁｮｲ 0fa9-PJUV)

2025/10/13(月) 17:36:16.72ID:fvIZP0Tl0

qwen3-nextはどっかの天才がllamacpp対応今頑張ってるから待つんやで

0619名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f32-x06C)

2025/10/13(月) 20:24:52.53ID:ZUzA2xzO0

qwen3nextもglmもMoEだから割とどうにでもなっちゃう
denseモデルをメインメモリ展開してたらまあまあキツいんだけど