なんJLLM部避難所 ★9

0906名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f83-EbnV)

2025/11/14(金) 12:14:58.99ID:x3bUpL8r0

thunderboltやlanでマシン繋いでvram ram合算でモデル動かすって現実的じゃない感じ？

0907名無しさん＠ピンキー (ｽﾌﾟｰﾌﾟ Sd1f-TDZ4)

2025/11/14(金) 13:31:45.24ID:D7SjSLSid

>>906
メモリ128GBでTB3ポート付きのノートPCにeGPU BOXで24GBのGPUを繋いで使ってるよ
Qwen3-235B-A22B-Thinking-2507-GGUF Q4_K_Mがギリで動く
死ぬほど遅いが

0908名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fcf-+8Bz)

2025/11/14(金) 13:51:22.39ID:J9bZLxUO0

TBも外付けポートとしては速いけどメモリアクセスとか考えたらトロい部類になってしまうよな

0909名無しさん＠ピンキー (ｽﾌﾟｰﾌﾟ Sd1f-TDZ4)

2025/11/14(金) 13:57:50.22ID:D7SjSLSid

>>908
ここから先はVRAMを48GB、96GBと上げていくか
ユニファイドメモリの糞高いMacやDGXを買うかの二択になる

庶民には無理だから諦めがつく感