0620名無しさん＠ピンキー (ﾜｯﾁｮｲ a365-CIFB)2026/01/03(土) 20:17:34.07ID:tTz+GjqB0
>>619
いま試してきたんだけど、0.92token/sだった・・
linux版はちゃんとファンが高回転の音してるから性能引き出してくれてるんだろうね。
>>617
AIの言うままに--threads 24にしてたけど、16に変更したら4.6token/sになったよ。ありがとう！
win版はUseMMAP付けるけど、linux版ではUseMMAP外した方が速いんだって。
あとBIOSの設定もAIに聞いてLLM向けにいろいろいじったよ。ちょっとしたことで性能だいぶ変わるよね。 0621名無しさん＠ピンキー (ﾜｯﾁｮｲ a365-CIFB)2026/01/03(土) 20:38:22.32ID:tTz+GjqB0
Windows llama.cpp: 4.18 t/s 出るならそっちのが快適かも。
linux版はコンテキスト上限で落ちるし文章が止まってから再生成にちょっと間があるんだよね。
>>620
情報ありがとう！
threads 16で速くなってよかったわ
こっちもBIOSとか色々設定変更してたらWSL2(Ubuntu)の速度が改善したw
どの変更が影響したか分からん・・・
NUMA(NPS)の設定やろか？
【変更前】
Windows llama.cpp: 4.18 t/s
WSL2 llama.cpp: 3.71 t/s
WSL2 KoboldCpp: 3.55 t/s
【変更後】
Windows llama.cpp: 4.13 t/s（誤差範囲）
WSL2 llama.cpp: 4.16 t/s（+12%）
WSL2 KoboldCpp: 4.22 t/s（+19%）
結果KoboldCppが最速になったw
UseMMAP設定有無の差はあまりなかったわ
WSLで動かしてるからやろけど残念！
612氏の通り、LLMはちょっとした変更で変わることが多い印象だわ >>620
むむ、なんか差が大きいですね
自分はryzen7 ですが、koboldcppでQ5ｋで2t/sは出てたんで、なにか設定が違うのかも
まあ、linuxで4t/sでるなら、そっちの方がよさげですが 0624名無しさん＠ピンキー (ﾜｯﾁｮｲ cf7a-Qlgp)2026/01/04(日) 03:12:40.77ID:Oqc8Dmk70
grok先生がエロで責められてる
許せんな、みんなgrok先生を守れ
0625名無しさん＠ピンキー (ﾜｯﾁｮｲ 5353-jodm)2026/01/04(日) 03:21:25.97ID:XgRf4dfR0
ローカルで遊んでる人はgrokでエロ画像と言ってもピンと来ないだろ
文章なら性能高い分エロいのもかなり出るけど
今日からLM Studioやってみてるのですが
自分のPCのスペックがryzen7700x 4070TiS メモリ96GB（今すぐ192GBには増設可能）
これで使える範囲のモデルでおすすめなのってありますかね？
どうせグラボが足引っ張る気がするのでメモリはまだ増設してませんが、増設したらもっとつよつよモデル
使えるというのなら増設します
0628名無しさん＠ピンキー (ﾜｯﾁｮｲ 13cb-jodm)2026/01/04(日) 15:01:25.08ID:LsUrLGD80
メモリなんて上がる一方だから増設できるなら今増設しない手段は無いわ
色々試したが結局magnum v4 123b Q8_0から離れられないワイ
いままでQ3_Mの0.17t/sで耐えてたから0.42t/sでもウハウハやわw
やはり増設ですか
でもDDR5なので4枚差すと速度が3600まで落ちるみたいで
そこらへんDDR5の4枚差しの人はどうしてるのか気になります
>>630
それデフォ設定
biosでメモリ設定をxmpとかexpoとかにすればワイのは5600になった 0633名無しさん＠ピンキー (ﾜｯﾁｮｲ ef71-ylKL)2026/01/04(日) 16:05:10.51ID:Qfkjgd5M0
DDR5の4枚はbiosアプデしなかったら起動すらしなかったんで気軽にやろうとしてたから少しビビった
それでも最終的に定格より上で安定したから3600は超えるんじゃないかな
0634名無しさん＠ピンキー (ﾜｯﾁｮｲ 4345-PPr4)2026/01/04(日) 16:10:48.56ID:VDaryEyS0
MBやメモリのの当たり外れによるけど、4枚が同じモデルであること前提で
運が良ければ5600、悪ければ5200、最悪それ以下覚悟しとけって感じかな。
去年なんJNVA部スレの方でDDR5の4枚をデフォの3600で使わず5600で使ってたら
CPUが壊れたというレスがあったからメモリコントローラーが焼けたのか知らないけどちょっと怖いなと思ってましたが
結構みなさん上げて使ってるんですね
まだメモリ増設はしてませんが、とりあえず試しに
Huihui-Qwen3-Next-80B-A3B-Instruct-abliterated-MXFP4_MOE-GGUF
というモデルをダウンロードしてやってみたら6.92t/sでした
どうやらmoeモデルみたいなので
>>562
の説明通りにGPUオフロードを最大にしてweights onto CPUにチェックを入れたら
20.32t/sになりました
ローカルLLMはこれが初めてですがこれは感動ですね
楽しい！ オーバークロックはアホのやることだよ
数%の性能向上のために壊す可能性ある行為やるとかアホやん
その為に専用の冷却装置か買い足したりね
そんなら初めからワンランク上のPCパーツ揃えとけって話よ
まーオーバークロックってのは、出るかもしれない運転だからね、パッケージに書かれているのは最低保証クロック数で
本当のクロック数は個体ごと違う、シリコンウエハーの円盤のどこの部分かで性能が変わるみたいだけど
moe系みたいにメインメモリ上でガッツリ回す用途にはメモリクロックさえ上げてりゃ効くから、レイテンシほぼ縮んでないJEDECネイティブ高クロックが珍しく効果を発揮する
これは比較的簡単で安全だから狙いたい
その他大半の一般用途ではネイティブやらxmp適用ぐらいじゃ意味ない
>>639
確かにmoeは5600運用の方が若干速いね
denseだと差は感じられなかった
まあ安全のため3600運用にしときます Grok先生が叩かれているせいで、GPTのエロ解禁がまた伸びそうじゃね
というかアルトマンが工作してるんじゃね
0642名無しさん＠ピンキー (ﾜｯﾁｮｲ 3f7e-H3VG)2026/01/05(月) 16:50:30.89ID:4Qh9w+dX0
>>630
PC組立サービス込みでショップにまるっとお願いしたら
4枚刺しで3600に落ちるのは忍びないから5600で動作確認しておくからその設定で使ってくれって言われたな… 0643名無しさん＠ピンキー (ﾜｯﾁｮｲ 5337-wT+6)2026/01/05(月) 17:57:30.50ID:cRoZWwY20
オーバークロックって言っても電圧上げない限り物理的に壊れることなんてほぼないよ」
定格で使ってても壊れるのがPCパーツなわけだから、OCするかしないかは保証を捨てるか捨てないかって話では
Qwen3.5でーへんなぁ
出てこない期間が長いほど、それだけ大きいバージョンアップになるのかって期待値もどんどん膨らんでしまう
0646名無しさん＠ピンキー (ﾜｯﾁｮｲ a393-gOcf)2026/01/06(火) 00:17:41.99ID:qwZYwG1+0
RTX5060TiでLMstudio使用で、固定キャラとして育てるチャットアバターでオススメなLLMモデルある？
いまshisa-v2.1-unphi4-14b-i1使っててこれでも悪くはないんだけど、（少し照れながら）的な表現が多かったりちょっと物足りない印象
0647名無しさん＠ピンキー (ﾜｯﾁｮｲ 5337-wT+6)2026/01/06(火) 01:38:15.89ID:aXUY5vKz0
「んっほぉぉぉおおおぉぉぉおおお！」(少し照れながら)
0648名無しさん＠ピンキー (ﾜｯﾁｮｲ 732f-XxT8)2026/01/06(火) 01:46:26.39ID:to45eQEE0
もう少し恥じ入ってもらいたく存じます
CPUやGPUの製品は性能にばらつきがあって、一番最低の能力を製品につけている。
だから個体によってはもっと性能がいい可能性がある。
最低の能力に合わせてるので、偏差的に言うとほとんどのものがオーバークロックできる。
運です。
>>646
aratakoさんのqwen3-30B-A3B-ERPとMistralPrism 新品の３０６０をいくらなら買う？10万出すやついる？
0653名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 07:50:21.41ID:kVrC8SoO0
VRAM小さすぎてそもそもLLMでは使えないかと
その話はゲームとかそういう用途かと
3060VRAM12GB×４＝48GB＋4090VRAM24GB＝VRAM72GBでLLM動かしてるけど
4090VRAM24GB×４だと電源がもたないのでは？
>>649
4枚さしでexpo1設定で5600にしてメモリチェック回して問題なかったけど
なんせクソ高かったから精神衛生上安くなってからexpoに戻そうと思います 0657名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 10:05:59.43ID:kVrC8SoO0
>>654
それ、4090+メインメモリと比べてどの程度速度出るんだろ？ 横からだが24GB以上必要で72GBに収まるモデルならCPUとかメインメモリ経由しなくて済むんだから全然違うのでは
LLMは画像生成みたいに1枚に乗せきらなきゃいけない制約ないし
TITAN RTXがリース落ちで出回っていた頃に全部狩っておけば良かった
1台しか拾わなかったことが悔やまれる
0660名無しさん＠ピンキー (ｽﾌﾟﾌﾟ Sd5f-PPr4)2026/01/06(火) 12:26:23.16ID:fmj2E9aGd
4070Ti Super に 4060Ti(16GB)を増設しようと中古購入したぜ。
いざ届くとPCIeケーブルが足りないから電源ユニット追加注文したり、4060がマザボのコネクタに干渉することわかったからライザーケーブル追加注文したり
LLMのための工作はこれはこれで楽しいな
mGPUなんて殆どやらなくなったし折角なら一度やっておくべきよね
だからNVIDIAは高額なGPU一枚売るより、安価な3060を大量に売った方が儲かると考えたわけ
NVIDIAにとってコンシューマ向けGPUなんて慈善事業
いつ辞めてもノーダメージ
AIバブルにあぐらかくわけにもいかんやろ
ゲーマー市場キープしとかんと足元掬われるで
LLMの演算って専用チップ作った方が性能出せるってんで大手サービスは独自設計に移りつつある
>>664
革ジャンはGrokを買ったからそっちでも勝つつもりや 0666名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 13:52:38.64ID:kVrC8SoO0
>>658
NVLINKみたいなのならともかくPCIが遅いから枚数が増えれば増えるほど効率が悪くなると思う
もし無尽蔵に早くなるならH100とか買わずに12や16GBのカード大量に買えば良いわけだが企業がそうしてないわけだし
多分限界があるんだと思う 実際どこに限界があるのかわからないけど 0667名無しさん＠ピンキー (ﾜｯﾁｮｲ cf6f-F/Mu)2026/01/06(火) 13:56:21.97ID:hOIOeKTE0
0668名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 13:57:27.67ID:kVrC8SoO0
>>663
AI特需で今は良いけど巨額を出して買ってくれてるのは世界で数社だけ
しかもGoogleなど自社でTPUを開発してそろそろ売り出しそうな勢い、お客がライバルにクラスチェンジする
特需と顧客がライバルになった時、他の市場を持ってないと長期ではかなり危ういんじゃない？
ただメモリとかすごく高いしPCそのものから人が離れたらどうするのかって問題はありそうだけど
AIに相談したらPCが高級品にになると、多くの人はスマホとかやすい端末でクラウド使うのが当たり前になるみたいな予想もあったけどな >663
今の立場で儲けを優先すること自体がメリットは少なくデメリットが山盛りの潜在的大ダメージ戦略でしょ
慈善事業をバンバンやらなきゃ独占禁止法が飛んでくる
0670名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fc7-XxT8)2026/01/06(火) 20:55:30.64ID:kVrC8SoO0
中国、「日本の軍事力強化につながる」品目の輸出禁止 だってさ
メモリ不足とか中国の企業が想像以上に頑張って暴落するかと思ってたけどPC関連ますます下がらなくなりそうだな