なんJLLM部 避難所 ★8
レス数が1000を超えています。これ以上書き込みはできません。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>974
それproprietaryって書いてあるからクローズちゃうんか Deepseekv3.1出たけどAPIのコスパの良さが際立つくらいで671B-A37Bはローカルやと使いにくそうやね >>978
そこら辺はオープンウェイトとは言ってもH100クラスを想定した設計なんじゃね
Kimi K2やGLMもそう
Qwen3-235B-A22Bだけが大型モデルで唯一ご家庭で動くギリギリを狙ってきている
QwenはImageもあるし設計思想がPCを意識しているんだろう >>972 4090ってそんなに遅いのか
macだと65-70tk/sくらい
gpt oss 120B(mlx) >>981
そりゃVRAMに乗り切らない分はCPUで演算しとるからね
GPUと比較したいなら相手はVRAMに乗り切るRTX PRO 6000になるんとちゃう redditに出てたけどpro 6000での20b 120bの出力速度はそれぞれ200t/s 140t/sらしい
ちなみにvllmを使うとgpt 20bをバッチ機能を使って計算リソースを飽和させれば4090でも10000t/s出るらしい
複数利用を想定するならMoEは圧倒的に有利 ローカルLLM演算って基本同規模vRAMなら帯域差でMac勝つ印象だけどそうでもない？ >>985
その認識であってると思う
結局MacはGPUの性能が足りてないから 生成速度なら帯域速度の差だけどprompt evalがMacはクソ遅いということは無視されがち なんかMac、というかアップルシリコンはFP8だかFP16あたりの処理が不得意な感じらしいな インテルはAVX2(AVX-256)があるからCPU単体でも並列演算で速い
AVX-512ネイティブ対応ならさらに早い(AMDはエミュだけど)
Apple Mシリーズ NEON(ARM SIMD)は128bitしかない
GPU側だとUltraまでいかないと演算器が足りない。Ultraで4070くらい
ただ実際「汎用の」ピクセルシェーダーを書いてると5090並に速くなることもあるんだよね
バス幅が有利なんかな RTX3090でも快適に使えるエチチもいけるLLMで今ベストってQwen3-32B-Uncensored.Q4_K_M？ xeonのAMXがcoreにも搭載されりゃいいんだけどなぁ
xeonをxeonたらしめてる理由の一つだし無理かなぁ >>993
coreだとメモリ帯域足りなくてAMX搭載しても活かしきれなさそう core ultraとか言う中途半端オブ中途半端sの事は考えなくて良いと思う もうみんなローカルLLMは使ってないの？APIのみ？ ddr6と同時にintelもAMDも4ch動作をコンシューマで解禁するみたいな噂もあるしローカルはCPU推論がメインになりそうではあるな
nova lakeとか52コアで高くても20万円くらいでしょ 4ch ddr6なら帯域幅256GB-512GB/sも狙えるしMoEなら70万円程度でSOTAモデルを実用レベルで動かせる可能性高そう
というかそう考えるとmac studioの先見性すごいな Mac Stuidoの場合基板にメモリ直付けでオクタチャンネルだしな
NVIDIAにしてもサーバー向けのGrace HopperはArmCPUにGPUとHBMメモリの一体設計だし
ソケットやスロットで全部のパーツを交換可能なのが自作PCの強みだけど、AIでハイパフォーマンスを目指すとなると、ソケットやスロットで配線が厳しいのがボトルネックになってきてる ローカルLLM初心者なんだがLM StudioでNSFWで検索したら出てきたQwen-72B-nsfw-novel-GGUFをダウンロード中なんだが
もしかしてNSFWよりUncensoredの方がファイル名としては一般的？ このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 104日 11時間 33分 22秒 レス数が1000を超えています。これ以上書き込みはできません。
