なんJLLM部 避難所 ★8
レス数が1000を超えています。これ以上書き込みはできません。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>993
coreだとメモリ帯域足りなくてAMX搭載しても活かしきれなさそう core ultraとか言う中途半端オブ中途半端sの事は考えなくて良いと思う もうみんなローカルLLMは使ってないの？APIのみ？ ddr6と同時にintelもAMDも4ch動作をコンシューマで解禁するみたいな噂もあるしローカルはCPU推論がメインになりそうではあるな
nova lakeとか52コアで高くても20万円くらいでしょ 4ch ddr6なら帯域幅256GB-512GB/sも狙えるしMoEなら70万円程度でSOTAモデルを実用レベルで動かせる可能性高そう
というかそう考えるとmac studioの先見性すごいな Mac Stuidoの場合基板にメモリ直付けでオクタチャンネルだしな
NVIDIAにしてもサーバー向けのGrace HopperはArmCPUにGPUとHBMメモリの一体設計だし
ソケットやスロットで全部のパーツを交換可能なのが自作PCの強みだけど、AIでハイパフォーマンスを目指すとなると、ソケットやスロットで配線が厳しいのがボトルネックになってきてる ローカルLLM初心者なんだがLM StudioでNSFWで検索したら出てきたQwen-72B-nsfw-novel-GGUFをダウンロード中なんだが
もしかしてNSFWよりUncensoredの方がファイル名としては一般的？ このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 104日 11時間 33分 22秒 レス数が1000を超えています。これ以上書き込みはできません。
