なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>269
Transformerとは違うのか
そこまで改良いれてくるってことは開発力あるんだろうけど使う側は困るな >>270です、6_Kだとこのような状況になっていましたが
5_K_Mだと症状が無くなりました。
最適化みたいな関係でこうなるのかな？ >>272
グラボの設定でシステムフォールバックをオフにしないと自動でメインメモリに漏れるよ
CPUが動いてるなら漏れてるんだと思う
それと同じファイルサイズでもVRAM使用量はモデルによって違うから単純に比較もできない >>270
あと2GB空いてるVRAM使えよと思うだろうけど何かに使ってるんよね
再起動したりで改善するかも >>267
っぱそうよな
結局Assistantの冒頭用意して続き書かせるほうが良いって結論になったわ この前Mambaのデカいモデルなかなか来ないねって話ししてたらQwenが先陣を切ったのか iPhoneの新しいA19はNuralEngine(NPU)の他にGPUにもNEを追加した
推論速度は最大3倍とのこと。このコアはGPUと直結してる
これM5に積まれるのかな
M4 maxでgpt-oss-70bで70tk/sが、M5 maxで210tk/sになるんだったから買い替える
A19ではバス幅も増えたらしいけどM系だと配線の問題で難しいかな
いやでもM5 Ultraでるのか? 推論速度は帯域幅に律速されるからddr6までは変わらんやろ どちらかと言えば今までのアップルシリコンのNPU実装やfp16対応周りがウンコすぎて超絶低性能だっただけで、ようやくまともにAI扱える現代的なGPUになっただけやね 推論速度はともかくプロンプト評価速度が速くなればMoE用としては完璧かも DGX Sparkが70万円近くしそうなのであきらめてGMKTecの128GBにしようと考えているんですが
同じGMKTecでもEVO-X2が36万なのに対してEVO-T1が22万程度で値段にかなり差があるんですがどちらもLLMの運用には使えるんでしょうか？
こんなに値段が違うということは性能差もかなりあるんですかね？
EVO-X2はAMD、EXO-T1はIntelというハードウェア面の違いがあるんですがOllamaが使えて能力もそんなに変わらないなら安いに越したことはないのですがデメリットとかあるんでしょうか
一時期DGX Sparkの代替として話題になってたのはEVO-X2（AI MAX+ 395）の方ですけど >>284
意味不明…
なんで中華製ってだけで異常に過剰反応するの？LLMすらオープンソースのトップレベルのモデルは中華だらけだけど？
そんなこと言うなら同コストでROCmでもいいからVRAM128GB確保できる国産ハードウェアぐらいだしてほしいね
今の日本じゃ無理だろうけど versus.com/ja/amd-ryzen-ai-max-plus-395-vs-intel-core-ultra-9-285h
そんなに変わらないんじゃないかな 今もうmoeばっかだからメインメモリ256積むのでいいでしょ >>286
思ってたよりCPUスレッド数、L3キャッシュ、メモリチャンネルあたりに差があるから処理速度に影響でそう
ありがとう
>>288
それは確かにそうだけど
LLMでもMoEじゃないのもあるしROCm対応のソフトウェアが増えれば高VRAMだと汎用性もでてくると思ってね
変な気持ち悪いのが湧いてるんでこのへんで AMDに期待するな
NVIDIAがCUDAを公開しGPGPUと言う分野を牽引してもうすぐ二十年経つが
AMDはその間に近いスペックのGPUを作りながらも何もしてこなかった
ようやくNVIDIAが育てたGPGPUが金を稼ぎ始めたのに、AMDはそこにタダ乗りすら出来てない LLMの運用に使えるかどうか聞いてたくせにもっといいのがあるって言われたら「ROCm対応のソフトウェアが〜」って謎の仮定持ち出して反論し始める変な気持ち悪いのが湧いてるね それはそうと前スレのこれが気になる
205 名無しさん＠ピンキー (ﾌﾞｰｲﾓ MMff-3IWN) sage 2025/05/27(火) 08:15:58.74 ID:dwqDJGhLM
strix halo機（EVO-X2）入手したんでちょっといじってみた
lm studioでrocmランタイム有効化してmagnum-v4-123bのq3klがだいたい2.5tok/s前後でした
EVO-X2は非MoEのmagnum-v4-123bを実用的な速度で動かせるの？ 中華うんぬん言い始めたら自作PCすら出来ないしケンカすんな
って思うけど>>283の文章が単純に読みにくいからChatGPTに相談校正してもらってほしいわ
んでEVO-T1見てみたけどLLMに利点もなさすぎだろ
現状NPUはほぼ使い道ないしコンパクトであること以外に価値なし
EVO-X2はメモリ帯域が普通よりも早くてGPUと共有されるからちょっと価値があるんであって
こんなん買うぐらいなら自作PCしとけば
って思いました 今はあれもこれも中華からは切り離せないからな
トランプは切り離そうとしたけど無理だった
今の時代中華アレルギー持ってたらデジタル関係ではなんもできなくなるで MI50 32GBとかV100 32GBでクラスタ組んでる人いないんかな
redditだとちょくちょく話題になってて気になる MI50とか帯域幅1000GB/sで32GBなのに3万以下で買えるしMoE用なら計算速度がボトルネックにならないだろうし面白そうなんやが
パッシブ冷却は面倒だけど >>296
中華が問題ではなくて中華がアフィカスを動員してステマしまくりなのが問題
中華ミニPCのゴリ押しはAIパソコンスレで失敗したロンダ ちなみにXでも数日前に同じ機種がステマゴリ押しされて界隈から糞味噌に叩かれている
常に「MacやDGXが欲しいが高すぎる。だから……」から始まるテンプレステマ
同じ奴があちこちで同じステマをゴリ押ししている そもそもARM LinuxのDGX Sparkが選択肢に入る奴が質問君丸出しで中華ミニPCと比べますかって話 おいおい、「Xのお友達」がそう言ってるから怪しいステマに間違いないって そもそも売りっぱなしでサポートが無いに等しい中華ミニPCに30万も40万も突っ込む時点で正気じゃない
中華ミニPCを買うとしても5万くらいまでで使い捨てで遊ぶような代物だ それってあなたの感想ですよね
俺の感想としては他に代用品がない中華の謎マシンの話は冒険譚みたいで楽しいだろ
買わないけど 1から10まで本当だと仮定してもステマ乙で終わる話では...何にそんなに怒れるんだ VPN云々は俺のことを言ってるのかな？
ホームルーターとか使ってる奴はJPになりやすいからVPNと決めつけるのは早計だぞ >>301
本当に居るとは
実際どれくらい速度出るん? ワイVPNだけど普通に末尾0だわ
あ、NGしないでね Qwen3-Next-80B-A3B-Instruct
これかなり賢いな
今までどのモデルも解けなかった生徒会恋愛問題レベル3を若干途中推論でおかしな所あったけど
最終推論は完璧で正解にたどり着いた。
同性愛の可能性を自ら注意点に上げながら推論していてすごいと思った Qwen3Nextめっちゃ動かしたいんだけどllama.cppのポスト見てると対応が難しそうなんだよなぁ…… まぁqwen3.5をday0対応してもらうためのnextなんやろね
80BくらいならRAMに乗るし期待してる vLLMならQwen3Next対応している
あとMLX形式のモデルが出ているのでMacなら簡単に動かせるはず mlx_lmを開発最新版にしないと動かなかった(安定版の0.27.1ではダメだった)
m4 max,Qwen3-Next-80B-A3B-Instruct-8bitは30tk/sくらい >>264
これ試したらgemmaががっつり猥褻な文章を生成してくれて大変嬉しいです
有用な情報をどうもありがとう！ ないとは思うけど公の場でGemma使ってるって言ったらアカンで
規約で禁止されとるから
LLMモデル全部Apacheになってほしいわ gemmaは学習時点でエロ除いてるから脱獄とか検閲除去してもあんまり出ないって聞いたけどそうでもないんか abliteratedと記述のあるモデルを使うといいよ
あとシステムプロンプトで脱獄向けの命令を盛ると応答する >>319
gemmaはまだまし
Qwenとかgpt-ossの方が終わってる 俺も>>319みたいなイメージあったわ
nsfw目的で初導入だから情報すごくありがたい
とりあえず明日導入してノーマルなgemma12Bで色々試してみる 善意の相談者のテイで話すと脱獄しなくても割とnsfw話色々してくれたよ
今日はJSの振りしてAIお姉さんからアナニーのアドバイス貰ったりしてた uncensoredなgemma3も公開されてたような まだ公開されて半年だけどgemma3ってもう古く感じるなあ・・・
対応機能とか性能、精度の面でgemma3がスタンダードを確立した感はあるけど
そのスタンダードをみんなすぐに追い抜いていく gemma3ならGemma-3-R1984-27Bが良い感じだった
たぶんnsfwでfinetuneされてるやつ たまに使うと良い意味でスタンダードだなと思うgemma3 そういやgemma3-r1試そうと思って忘れてたな >>312
LMArenaに生徒会問題入れて遊んでたらQwen Next出てきて正解してたわ
対戦相手はGPT 5 miniで相手も正解 続けてたらまたQwen3 Next出てきて今度は途中で正解出したのに論理的には矛盾してないけど同性愛は不自然だから自然な答えがあるはずって推論一からやり直してよく分からなくなって最後は沙織にしてたわ 330です。エンディングにはすぐに行ける。
フリートークができるようになるので、いろいろ試してみます。 332です。このゲーム、モデル変えても動きますね。
modelMnage.jsonの中のモデルの表記を取り変えるものと入れ替えると
ちゃんと動きます。 他薦だろうと掲示板で誰かに金が入るような内容を一人で連発するのはやめとけ 作者としか思えないし5chで敬語のやつガチでキモい >>336
チー牛のおまえも最初は「ｱ‥ｱｧ・・・ですか？よろしくお願いします」って言ってたじゃん ってかMacだともうLM StudioでQwen3 80B A3B動かせるんだな
M4 Maxで80tok/sぐらい出るらしい
mlx-communityってとこのモデル アクティブ3Bって本当に賢いの？速度のために色々犠牲にしてない？ 赤ちゃんだから論理パズル読んだけどよくわかんなかったわ 結局抜くなら文章より画像のほうがいいな
画像と文章同時生成出来るようにしてくれ reasoningモデル初めて触ってみてたんだけど、ガイドライン反復横跳びするような話題だとめっちゃ葛藤してておもろいな
でもコンテキストめっちゃ食うから長編会話するのむずいね うろ覚えだけどReasoningモデルって過去のメッセージのReasoning部分はコンテキストからオミットするのが常套だった気がする（溢れないように） 333です。なんで50万、100万のハードの話は良くて、たった数百円のソフトの話がダメなのか
意味が分からん。あと作者ではないです >>346
そうなんや、わからんか
社会的な生活したこと無いんやろな
今はママに色々してもらってると思うけど社会に出たら苦労するで ステマの可能性があるかないか
まあ今はステマは明確に違法だからわざわざ反応するのは古い感性の奴よ
興味がなければ今されてるようにスルーされるから ステマは違法になってたんですね。知りませんでした
私はエンジニアではないので、そういう情報が入ってこなかったため
勉強になりました。繰り返しになりますが作者ではないです。
単純にローカルLLMを使ったゲームなので投稿しました。すみませんでした 匿名掲示板はステマやらレス転載でアフィやら散々あったから過敏になってる人がいるんだ
そこに不慣れそうな文体のちょっと浮いたレスで商品リンク貼ったから目立っちゃった
まあ無駄な煽りは気にしなくて良いと思うよ いや優しすぎだろ
今のままじゃどこ行っても叩かれるだろ、それは優しさか？野良猫にエサあげるタイプか？
2ch時代から代々伝わる「半年ROMれ」を言ってあげるのほうが優しいんじゃないのか？
意味分からんだろうからググってねー エンジニア界隈はググればわかることは、話さないんですか
大変ですねえ。殺伐としてそう
まあ、最近はchatgptも調べものには使われるようになってきたし
いわゆる「ググれks」的な言葉も古くなっていくんでしょうね ローカルllm搭載ねえ
そりゃできるでしょうねとしか
どの程度フリートークができるかしらんけど
このスレとは若干ズレるかもね😅 ググれksもID変える方法も知ってるし初心者のフリしてんじゃん
絵文字きも 誹謗中傷の法律、簡略化したんだっけな
今度使ってみようかな >>358
お客様、わざわざ慣れないBBSピンク成人用のオナテク板までお越しいただきありがとうございます
> 単純にローカルLLMを使ったゲームなので投稿しました。すみませんでした
との事ですが、謝罪とは思えないですし、
宣伝は2度と投稿しなくて良いですよ😉 単純に会話が下手なような
作者なんだがコレ試してみてくれ！って言えばそれで通ったんでは 作者の自薦はたまに見るしそれ自体は批判されてないよな
まあほとんど無料公開だけど ここに立った経緯とかあんま分かってないから猛虎弁は隠してるぞ なんJ民によるドミンゴ乱獲によりンゴ価格が高騰したからな >>341 CPUで動作させるのが主目的に近いかな Qwen3 Next 80B A3Bは普通に賢い、まだInstruct版しか見てないけどLlama 3.3 70B Instructより断然賢い
今更Llama 3.3と比べるのはかわいそうな気もするけど 