なんJLLM部 避難所 ★10
とりあえず、5090在庫ありだったからポチってしまった
納期未定ばかり見ていたから買ってしまった
今更だけど、LLMするにはどんなPC作ればLLMが5090の性能をしっかり引き出して動く？
最悪は今持ってるPC(4年型落ちだが128GB積んでる)とGPUと差し替えるつもりだけど
可能なら今風のPCを1台作ってやりたい、もしくはメモリや本体そのものをオクで買ってケチりたい
>>396
そういえば、混乱期は酷かったっぽいな まずマイニング用のフレームと1200Wの電源を用意します。 グラボ複数でVRAMを盛りましょう
盛れないなら妥協でメインメモリ盛りましょう
こんだけだよね、LLM用のPCって 32gbカード一枚だと微妙に選択肢広がらないんだよな 早いGPUは処理早いけど、LLMの場合、戦いはVRAM数だから
Stable Diffusionで早いGPUは意味が出てくる ソフト面が多様になるのが一番ありがたいんだけどまあ難しいわな Blackwell凄いアピールの時に使われたfp4はどうなったんだよ vllmはもう対応しとるみたい
llama.cppは2週間前にようやっとPR立ったみたいやね
まだ未マージ
https://github.com/ggml-org/llama.cpp/pull/17906 >>398
変換コネクタは使うなよ(;´Д｀)
５０万以下では来年買えそうにないから同じく買った 