なんJLLM部 避難所 ★9
>>386
あんまり触れてないからあれだけどロールプレイも普通に行けて素のsmall 3.2よりこっちの方がいい感触
少なくとも今までのmagistralよりは良くなってる 推論は小説にしろロールプレイにしろ設定への忠実さは上がるけど表現が固くなるっていう諸刃の剣だからな ＯｐｅｎＡＩエロ解禁するってよ、Ｇｒｏｋにかなり客持って行かれたからな、イーロンのおかげかな 真面目性能でもgrokの圧勝だったしなあ
GPT4o、5→リアルタイムweb検索できません
grok4→今日最新のニュースをまとめてくれる 今chatgptでautoに設定してると話題によっては勝手にWEB検索してくれるけどそれとは違うんか？ それは昨日とか今日のじゃなくてモデルが作られた当時の最新じゃない情報を適当に並べたりしてるみたい
なんかでたらめ言ってない？って問い詰めると白状した いや普通にWEB上のニュースとか検索してソースにしてるぞ
数日前に大雨で土砂崩れがあって旅行行けなくなったんだよねーとか話してたらちゃんとその件を調べて回答してくる 4oの時は平然とデタラメ言ってきて、5になってからはあらかじめ断りを入れてくるようになったけどこんな感じやなあ
https://i.imgur.com/hZlQIZD.jpeg リアルタイムweb検索というのがチャット中に検索してソースを調べることを指すなら普通にGPT5でできてるね
何なら情報源ボタンから確認したソースを一覧で左ペインに出してくれる ってことはもしかしたら4oの時のやりとりの記憶が足を引っ張っててずっと出来ません言い続けてるのかな？
メモリリセットしてみるかあ 右ペインか
>>399
無料プランだったりしない？ >>400
plusだけどちゃんと有料の時にやってたよ
でもそれが理由ですぐgrokに移ったけど 履歴削除してもっかいチャレンジしたら出来ませんとは言わなくなった
でもソースのリンク先に飛んだら全部404のデタラメだわ…
ちなみに今は無料プランでやってるからそのせいなのかも？
ps://i.imgur.com/hZlQIZD.jpeg ごめん間違えて削除してしまってた
ちなみにニュースはどれも7月頃のものみたい
ps://i.imgur.com/CLn1cx2.jpeg
ps://i.imgur.com/zLPQkIv.jpeg 「検索してます。。。」の表示出てる？
サーチしてるとそういう表示出るんだけど
もしかしたら検索モードに入ってないかもね
あとDeepResearchはchatgptが頭一つ抜けててるかな
chatgptのDeepResearch使用量を使い切ったときに他のサービス使うことあるけどまだまだ差がある >>407
ふぁーマジかあ😳
なんか色々調べてみるよありがとう ちなみに設定のPersonalizationで
- カスタマイズとメモリ機能は全部切ってる
- Advancedの項目でWeb search, Code, Canvas, Advanced voiceは全部有効にしてる grok4は文章固すぎるからgemini 2.5proの方がいいな OpenRouterってChatGPTみたいにメモリ機能や過去のチャット履歴を参照したりするの？ >>407
特に指定しないなら必要だと判断したときのみ自動で検索するね
話題の振り方や内容によっては自動で検索してくれない >>411
OpenRouterのChat画面のことやろうけどしてないと思っていい
OpenRouterの本業はAPI提供するだけで、チャット画面はおまけというかデモみたいなものや
ルーム変えればコンテキストは共有しないはず、そもそも各々のAPI呼び出してるだけだからあんまり高度なことはできん GPTの文章力はかなりいいんだけど、エロ禁止だったからね
GPTが解禁されたら他も追随するんだろうな でもグーグルって個人情報抜きまくりから、エロでgeminiは使いたくないな プンルーはただのルーター
APIも転送してるだけ
カネになるとこだけやってる商売上手やで $10チャージしたらいくつかのモデルが無料で使えるってだけで有料モデルはファーストパーティー繋げばいいしな 小説が読みたいんやなくて「会話」でエロいことしたいだけなんやが脱獄したgeminiやgptとローカルでやるのどっちがいいの？ gptにはggufでQ4_K_Mくらいしか動かないですねって苦笑された低スペやけど・・・ >>418
ローカルは出力が遅すぎるという理由で会話は成り立たない
オナスレの作り込まれたエロゲなら待ち前提でローカルでもそこそこ楽しめる ふつうのひとがローカルLLM使うメリットって全くない
個人が持てる程度のPCで動くLLMなら、open routerで無料か無料に等しいコストで使えてしまうので >>420
ファインチューン目当てで環境構築したが
画像生成と違ってGGUFに手軽にLoRAを当てる環境が整ってないのよな
まだまだソフトが発展途上だわ ローカルである程度のサイズのLLM動くPCに何十万円もかかってそれで性能有料サービス以下だからなあ
サブスク何年分よ
ゲームの趣味とか他に使い道あるならまあええけども GPT-ossみたいな単一言語ガチガチにしたMoEモデル+翻訳専用SLMで組めるようになるのがローカルの終着点だと思っとるから数百BパラメータのLLM動かせるような環境はやりすぎな気はするわね 大手IT企業とか大学の研究機関ですらLLMの学習コストが高すぎるって言ってるからこれから量子化とかtransformersに代わる計算コストの低いアーキテクチャの研究が進むかもな
そもそも人間は絵描いたりするより文章書く方が簡単なはずなのにAIは画像生成の方が必要リソースが少なくて言語モデルは倍近くのリソースが必要なのはなんでや >>424
人間が絵より文章を書く方が得意なのは、文章が生きる上での必須技能でより多くの時間を費やすからだろ
人生で絵と文章どっちに多くの時間をかけてるのか考えてみるんだ >>426
簡単/難しいと得意/不得意は別の論な気もするのだが
ワイは、絵は全てのピクセルに明確な意図を込める必要はなく、なんなら単なるノイズですら魅力的な絵の一部と見なされうるけど、文章において文字はそれが許容されるケースが極めて限定的ってあたりがよりリソースが必要になる原因の一つやないか、と思うんやで >>421
普通に追加学習でファインチューンできると思うんだけど、上手くいかない感じ？
まぁVRAMが量子化前のモデルサイズ×4倍くらいは要るのが環境面では大変よね 視覚は莫大な情報の中から必要な物だけを抜き出す作業をしている
見たい部分が正しければ他は間違っていても気にならない
文章は伝えたい情報を全て文章化して相手に渡しており原則として相手は全てに目を通す
最初から最後まで確認するから間違いがあれば気づきやすい >>429
もちろんそういう問題もあるけど知識や技術の差も大きいで
アホな小学生は文章の良し悪しや文法の間違いに気付くことが出来ない
絵も同じで画力が無い奴は絵のおかしな部分に気付くことが出来ないし、単に下手なのかわざと崩しているのかの区別もつかない
画力があると絵を見た瞬間に多くの情報を正しく拾っておかしな部分に気付いてしまう
んで人類のほとんどはアホな小学生の文章力と同レベルの稚拙な画力しか持っていないから間違いが気になるはずもない
英語苦手な奴が英文読んだときにその良し悪しに気付かないのも同じことやで OpenRouterにGrok 4 Fastが来た。
しかもフリー。なんだこれ最高かよ。 CPU推論ってシングルスレッドが有効？
スリッパだとシングルが弱い上にメモリアクセスにワンクッション挟むからRyzen 8000シリーズより遅くなる印象
ThreadripperならGPU複数枚構成かなぁ epycで良くないか?
SP5ソケットなら最大12ch動作やから500GB/sくらい出たはず
それにデュアルcpuにすれば理論帯域幅も倍になるから1000GB/s超えも狙える(ソフト側の問題で実際の速度向上は30%程度らしい)
まあCCDの数で実際の帯域幅は律速されるから12chフルで使えるCPUにすると数百万コースやけど 調べたら9B45とか128core DDR5 12channel で50万くらいなので組み方次第で100万以下も狙えそう
MoEならGPUも載せて一部オフロードすればさらに高速化狙えるし pcie4.0でいいやと思ってsp3マザーとzen2epyc狙い magistral 1.2推論ってやつ使ってないけど普通に楽しいや epycはxeonのAMXより速いってベンチマーク出してきてるけどほんまなんかな
llmのcpu推論は第三者のベンチマークがほとんどないんよなぁ Threadripper Proやepyc買うなら24コア以上推奨
16コア以下だとCCD数の関係で、例えば8chのメモリ帯域をフルに活かせない
chが増えるほど必要なCCD数がいるはず jukofyork/command-a-03-2025-uncut
command-aの規制解除版（lora統合かな？）
規制強かった３月版が、エロエロになったわｗ qwen3 omniは純粋に面白そう
日本語での音声入出力が可能らしい まもなく10月だが、Windows11とかCPUとかどうでもいい
TPMなんか無くても何ら問題ない Qwen明日またモデル出るっぽいな
ミニサイズで性能良かったら嬉しいが、 Qwenのリリース速度はすごいな
さすがアリババ
クラウドサービス持ってるところは強い >>424
人類が意味と価値を見出せるパターンが文章より圧倒的に少ない
ローカルで動いてる画像生成なんて裸の女の子ドーン！みたいな似たような絵しか出ないやろ
それに自然言語で色々出せるモデルはそろそろローカルじゃキツくなってきてるころや エロ小説をLMstudio君に生成させてみたいんだけどどのモデルがいいのかね？
さすがにgptモデルじゃ無理でした… >>448
おほーサンクス
家に帰ってみたら早速実装してみます オナテク板で真面目なLLM性能も議論してるから教えて欲しいんやが
コード添付して色々教えてもらうのってどのモデルがええんや？
GPTやと1つのphpコードであれこれ入門的な説明してもらってるときに
「添付があるからこれ以上続行すらさせへんで」になるからLLMでやりたいんや codingとか名前付いてるやつかgpt-ossでいいんじゃない
でもクラウドモデルのが圧倒的にいいからgpt以外も試してみるべきかな コーディングだとclaudeが強いって前に評判だったけど最新の情勢は違うのかもしれん
ローカルだとそもそもコンテキストサイズ的に満足行く回答が得られるか怪しいと思うで claude安定なのはそうだけど添付で怒られるってので勝手に無料想定して外してたわ >>451-453
サンガツ
添付が無かったらワイのつたない質問でも永遠に相手してくれるんやが
100行のPHPコードだけでもすぐに「このスレッドには添付があるからこれ以上は質問すらさせへんで」になるのが無料やから仕方ないんよな コーディングはエロ小説と違って間違いが一つでもあると動かないからローカルLLMではまだ厳しい
Qwen3-Coder-480B-A35B-Instructでも微妙だった どうしてもローカルがいいならgpt-oss 20B/120Bかqwen3 coder試してみて、ダメだったらcodexとかclaude codeにいくしかないと思うで
強めのグラボ積んでるならLM StudioでGPU offloadを最大にしてflash attensionを有効にすればワイの環境ならgpt-oss 120Bで140tok/sec出てるで
長めの文章読み込めるようにcontext lengthをそのモデルの最大(gpt-ossなら13万)にするか、遅くならない程度の値にしておくんやで コードを扱うならどこのAIでも良いので大人しく課金した方が良い
仕事でバリバリ使ってない限り20$の一番安いプランで、
チャットでもCLIでもまず制限には当たらない ↑gpt-oss 20Bで140tok/sec出てるで の間違いや
120Bで140tok/sec出るモンスターPCほしいわ ai studioでいいのでは？
あそこ制限ないぞ >>456-458
それでご飯食べてるわけではなくて初学者で
まれにファイル添付して全体的な質問をする時があるくらいやからその時はローカルでと思ったんやが
codeがついているモデルで添付OKなモデルでやってみるやで 試行錯誤の時間のほうがコスト高い
ノールックでChatGPT契約して なんも考えずにChatGPT契約して使い倒してから続けるか止めるか考えればいい
ローカルLLMは日本語でやりとりすることによる 性能ロスが大きすぎるから殆どの用途で使い物にならん
英語ネイティブですというなら違う可能性はあるけど ChatGPTの契約はもう必須と捉えてるからコストとして考えてないわ ワイも必須になりつつある
毎日の食事カロリー計算から運動のリマインダー、
あとマイコンボードでのデバイス制作とめちゃ助かってる
（肝心な部分はredditの海外ニキらのコメントだが）
でもローカルLLMはロマンはあるンゴね 日本語が下手なので使いこなすのも何気にエネルギー要るのはワイだけか カロリーは脳ミソでもかなり消費するはずだから
エネルギーが要るというのは間違ってはないと思う
お堅い文面でもLLMにぶち込むモノでも頭はけっこう使うし >>468
プロンプトの書き方も使いこなし方もAIに聞いてお勉強するんや 