なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>856
使用するモデルを完全に固定できるのは開発者にとってはメリットが大きいんじゃないかな
クラウドLLMはバージョンアップ時に雑に旧バージョンを切り捨てるし
都度都度システム障害に対応させられたらたまったもんじゃない
絶対的な性能ではクラウドLLMの方が上だから金持ちならGeminiをオンプレで導入するといった選択肢もあるな 100Bくらいやっぱり必要なんだろ？🤔
まともに会話したりできるのって 文法的にマトモな日本語で返してくるだけなら4B程度から完璧だよ 会話にバリエーションを求めるならQwen3-235B-A22Bが最低ラインじゃね
メモリ128GB VRAM24GBでGGUFがギリギリ動く
235BのNextはよはよ カスタマイズさせた会話を成り立たせるのは32B以上じゃないと無理では？ >>871
主流がMoEモデルに移行したから小型のモデルを弄くり回す意味も消えたな
メインメモリガン積みすればご家庭のPCで235Bが動くんだから
小細工するヒマがあったらメモリを増設すればいい
そのメモリも超絶価格高騰中だからケチってた奴はさらに突き放される流れ Mac Studio（M3 Ultra）とDGX Sparkでgpt-oss-120bの比較
https://x.com/sunazukan/status/1987474685152633174
DGXはM3の7割位の速さとのこと
意外と早いんだね
このくらいの大きさになるとメモリ以外の性能も関わってくるからアレなのかな
まぁ、それでも買おうとは思わないけどw VRAM 16GBとメインメモリ128GBでエロチャットするのにオススメのMoEモデルを教えてくれ M4 maxでもgpt-oss-120bは60-70tk/sでるから
M3 Ultraは512GByteの力技で効いてくるんだな
128GByteじゃ動かないものは動かないから太刀打ちできん
M5 Ultraはmac proだけとか言わないでくれよ... 512gメモリって100万越えやろ？
それならDGXの2台接続と比較しないとおかしくないか 実用的なコンテキストウィンドウがデカいローカルLLMが欲しい ASUS Ascent GX10やThinkStation PGXなら
将来的にワンチャンセールやるかも知れないしな
メモリが超絶高騰中の今ではわりと現実的な選択肢よ ローカルLLMでコンテキストウインドウいっぱい確保できるのある？
よくて32Kだわ 