なんJLLM部 避難所 ★9
0643名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f27-oOwG)2025/10/15(水) 12:55:14.54ID:es2b6e2F0
>>640
なるほどなー
magnum v4 123bでシコってた頃から随分進化したもんや
gpt-oss abiliteratedがかなり期待外れだったからmagnumとかの生成早くなってるやつがあったらかなり良さそう
0644名無しさん＠ピンキー (ﾜｯﾁｮｲ 3b7c-s4CX)2025/10/15(水) 12:57:15.70ID:NIWsAMFT0
lammacppのrocm対応が進んで今だとQwen3-coder-30BならradeonでもRX7900XTXなら80tok/sぐらい出るようになったし、MoEの成熟も進んで春先あたりの頃の常識がだいぶ変わったよな
0645名無しさん＠ピンキー (ﾜｯﾁｮｲ 5ffb-xebt)2025/10/15(水) 13:16:34.80ID:c2WDOR3F0
俺が一番シコれる文章を生成してくれるのは
QuantFactory/Berghof-NSFW-7B-GGUF
だけなんだよな
他のモデルは文章こそ滑らかかも知れんけどチンポにズドンとくる文章じゃなくて惜しい
0647名無しさん＠ピンキー (ﾜｯﾁｮｲ cb22-Z99m)2025/10/15(水) 13:50:43.68ID:NCAaGl2s0
最近grokが申し訳する
0648名無しさん＠ピンキー (ﾜｯﾁｮｲ 5fef-x06C)2025/10/15(水) 14:48:23.86ID:JyU1FamW0
もともとガチガチに禁止してなかったもんを解禁とか言い出したときは「キッチリ監視の目を入れて安全に使えるようにした、今までの無法地帯ではない」にしか聞こえない
最近ちょっと固い期間あったとはいえ
0649名無しさん＠ピンキー (ﾜｯﾁｮｲ 5fcd-KVVk)2025/10/15(水) 15:34:18.16ID:dOcrs+BU0
エロokなのと無検閲は全く違うからな
非同意系は今まで通り無理だろうしopenAIは顧客のチャット履歴精査して中国政府の機密資料を晒上げる程度のプライバシー意識の会社だしエロチャするの怖すぎ
0650名無しさん＠ピンキー (ﾜｯﾁｮｲ cb77-rcem)2025/10/15(水) 16:24:56.21ID:fBcQWT3N0
◯学生OKってマジ？
0652名無しさん＠ピンキー (ｽｯﾌﾟｰ Sd7f-CiX/)2025/10/15(水) 17:41:36.73ID:PvQboaN7d
>>649
逆に履歴提供してる前提でモデル改善オンにしてAIと深い話やOpenAIの横暴についてや正当なコミュニケーションの進展におけるスキンシップの正当性について話してるわ
一番直接的で有効なフィードバックになるからね
チャット履歴提供上等だよ
0654名無しさん＠ピンキー (ﾜｯﾁｮｲ 3b7c-s4CX)2025/10/15(水) 21:26:42.52ID:NIWsAMFT0
>>653
ModelfileうんぬんってことはOllama？確かまだ未対応やったんちゃうかな？modelcardにあるようにlammacppかその派生（コボちゃんとか）でないと対応してないはず
0657名無しさん＠ピンキー (ﾜｯﾁｮｲ 3b7c-s4CX)2025/10/16(木) 09:48:37.74ID:U3eWIMKC0
>>651
横からだが試してみた。回答内容は悪くないけど重いなぁ。Qwen3-Nextが速杉とも言えるが小説支援には良いけど尻とかでチャットに使うには個人的にびみょかった（個人の感想です）
0658名無しさん＠ピンキー (ﾜｯﾁｮｲ 0fa9-dmQm)2025/10/16(木) 13:30:03.77ID:3FIeU2zk0
DGX Sparkは結局Ryzen AI Maxくらいしかパフォーマンス出なさそうだし微妙だね。
CUDA使えるのとConnect-X付いてるのはいいけどRyzenと比べて価格が倍以上だし
それならMac買うかってなるな
0661名無しさん＠ピンキー (ﾜｯﾁｮｲ 5ffb-xebt)2025/10/16(木) 15:20:59.54ID:N2IolTdl0
>>660
https://x.com/AliDTwitt/status/1977685088285675860

以下GROKによる翻訳
Mac Studio M3 Ultra 512GB RAM 80 GPUでGLM 4.6 8bit（MLX）をローカルで実行中。LM Studioで書くと、380GBのRAMをガッツリ使いながら、たった3.5トークン/秒しか生成しない。壁のペンキが乾くのを見ている気分。

品質ではGPT5 Codex（High think）やSonnet 4.5を上回る。とにかく遅いだけ。
@Zai_org
の素晴らしい仕事、GLM 4.7が大幅に速くなることを期待してる。
0666名無しさん＠ピンキー (ﾜｯﾁｮｲ 3b8f-xFyt)2025/10/16(木) 17:26:24.77ID:LLWWm9uS0
といってもVRAMが300GB/s以下ってことは500GBのDenseモデルを動かすとしたら最大でも0.6トークン/sって事にならんか？
やっぱり帯域不足は痛いで。LPDDRを使う方向性はええと思うんやけど、それなりに高速なチップとクソ広バス幅用意してくれへん事にはなぁ……
0668名無しさん＠ピンキー (ﾜｯﾁｮｲ df67-s4CX)2025/10/16(木) 20:12:37.09ID:cCpqskzq0
MoEモデル前提だとLPDDR5選ぶ理由はないわねえ
70Bあたりのdenseモデルがスカスカだから活かしどころがないのも難点
0669名無しさん＠ピンキー (ｽｯﾌﾟ Sd7f-p9PY)2025/10/16(木) 20:15:02.24ID:mwCUko1ld
単一モデルでthink/no thinkモード切り替えみたいにnsfw/sfw切り替えできるようにならんかなー
0670名無しさん＠ピンキー (ﾜｯﾁｮｲ 3b10-dFrV)2025/10/16(木) 21:00:16.02ID:iYqYpuLM0
think/no think切り替えとnsfw/sft切り替えは
本質的に同じだからできるんだけど
やってくれる人がいないんだろうねw
一番最初が一番儲かるからがんばってみては？
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況