なんJLLM部 避難所 ★10
グラボ複数でVRAMを盛りましょう
盛れないなら妥協でメインメモリ盛りましょう
こんだけだよね、LLM用のPCって 32gbカード一枚だと微妙に選択肢広がらないんだよな 早いGPUは処理早いけど、LLMの場合、戦いはVRAM数だから
Stable Diffusionで早いGPUは意味が出てくる ソフト面が多様になるのが一番ありがたいんだけどまあ難しいわな Blackwell凄いアピールの時に使われたfp4はどうなったんだよ vllmはもう対応しとるみたい
llama.cppは2週間前にようやっとPR立ったみたいやね
まだ未マージ
https://github.com/ggml-org/llama.cpp/pull/17906 >>398
変換コネクタは使うなよ(;´Д｀)
５０万以下では来年買えそうにないから同じく買った >>301
Q5K_M以上も出してくれたんで試したが、たしかにQ4より出来はいいな
だが、なんというか意識高い系っていうか、エロなのになんか上品な小説に持っていこうとする傾向あるな
整合性についはもう一歩欲しい >>410
他所でも書いたが下品なエロを学習してないから話がどんどん脇道に反れる
中華モデルで顕著に見られる傾向
特にQwen系はすぐSFやメカ展開に持っていきたがるからプロンプトで明示的に抑制する必要がある
下品なエロや隠語をGrokあたりから抜いてプロンプト、LoRA、FTで移植しないと俺らが望むエロモデルにはならない 