なんJLLM部避難所 ★10

0950名無しさん＠ピンキー (ｽｯﾌﾟﾌﾟ Sdd2-v0/K)

2026/02/09(月) 14:12:20.13ID:Z+q1O254d

>>949
よく使いそうなexpertを判別して優先的に読み込むなら大きなMoEを使うんだがな

UbuntuのLM Studioで動かすつもりだが
各expertの中身と配置がブラックボックスでよく分からんわ

0951名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e03-SV9b)

2026/02/09(月) 16:23:59.87ID:kCYtZ6Da0

VRAMに乗せきりたいなら32BのQ8とかになるんじゃないか
40GBもあればcpu-moe系のオプションで大きめのGLMとかも結構な速度で動かせると思うが

0952名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e23-tJMc)

2026/02/09(月) 16:39:13.73ID:cFDFamMz0

>>943
redditではベンチ番長やなくてかなり好意的な意見が多いみたい
lmstudioでもダウンロードできるようになってるし使ってみる