なんJLLM部 避難所 ★6
レス数が950を超えています。1000を超えると書き込みができなくなります。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>853
LLMはgemini-2.0-flash使うてます ローカル環境貧弱なので(GPUは画像生成に専念させたい) gemini２flashいいよね
長くなって繰り返し始めたら、
あらすじ化させて新しく始めてる Mistral Small 3.1は日本語性能高そうだなぁ >>844
GGUF版はSillyTavernだとなんらかの不具合で⚗や<|im_start|>が出たり、<think>が抜けたりする
それ抜きにしても本家QwQ-32Bより日本語が不自然で現状使い物にならない SillyTavernは設定をちゃんとしないと大変だね。
外国人の設定をそのままコピペしたら、なぜか日本語での受け答えもまともになったりするけど、有名なやつじゃないと設定が分からなくて難しいんだよね。 たぶん設定の問題じゃない
量子化でバグったか、ファインチューニングでバグったかのどっちかだと思う >>844
GGUF版はkoboldだとまともに動かんしな
無理やり動かしても本家より落ちる感じ 軽い気持ちでh100 nvl 94gbの価格調べたらこれ480万もすんのかよwww Mistral Small 3.1のQ4_Kで使ってみてるけど、知識も豊富でかなりええ感じに賢い感じがするで！まあ新しいモデル触れるたびこんなこと言ってる気もするけど……
コンテキスト長が長いのと、CPU演算でもそんなに遅くならんのが嬉しい所や。Gemma3ちゃんと違って具体的なエロ描写もOKやったで
注意点は、推奨temperatureが0.15とかなり低いところやね。あともうちょっと試してみないとわからんけど、なりきりチャットはあまり得意ではないかもしれへんね。設定には忠実なんやけど、全体的に真面目な感じや RP不得意モデルが続くなあ
ただでさえチャットには応答速度が求められてハードル上がるのに冬の時代は続きそうや… koboldっててっきりllamacppベースかと思ってたら違うんだ
でも検索したらllamacppをベースにしたkoboldcppってのもあんねんな
koboldとkoboldcppの2種類あるの知らんでごっちゃにしとったかもわからん このスレで言われてるkoboldはまず間違いなくcppの方 せやったらggufは動くと思うんやけどな
ggufってllamacppの規格やから LM studioだと動くけどKoboldcppだと動かないggufとかその逆とかあるよ そうなのか・・・
llamacpp直でしかつこうてないからその辺ようしらなんだ >853
ご近所スレで
https://rentry.org/7ugh3fa7
こういう手法が提案されてるから、画像リンクが有効な環境ならアバター画像表示は実現可能なのでは llamacppのリリースたまに見るけど更新で対応しないと動かないモデルは結構あるっぽいね >>863
CPUも速いならいいね
無規制版どのぐらいで出てくるんだろう Mistral Small 3.1 itをexl2にしてみた。
Text Generation WebuiのAPI→SillyTavernの環境
max_seq_len 16384で3090のメモリ消費が15GBくらい
context 7000投げてだいたい初回22〜28、継続40〜48トークン/秒くらいだね >>873
exl2 4bpw 量子化書くの忘れてた SillyTavern documentation日本語化してる人いない？
日本語情報がなさすぎる .mdとかで保存してからclaudeに渡せば全部綺麗に翻訳してくれる だが、おれの桜やしずかちゃんのキャラカードを出したら怒られそうでこわいｗ 普通にチャットテンプレートとして流用できるし全然ありかも
たぶんこのスレの民が知りたいのってキャラの設定より調教のほうだろうし Civitaiで共有できるんとちゃうの？
あそこってファイル形式なんでも行けるんとちゃうかな
というかCivitaiで共有できるならCivitaiが一番いい気がしてきた >>877
作ろうと思えばモデルが作ってくれるとは思うぞ Mistral Small 3.1をpresetをnemoのまま英語でやってるけどめちゃくちゃ頭いいな… >880
共有サイト自体はchubとかcharacter tavernとか幾らでもあるよ
日本語でコミュニケーション出来るところが欲しいという話では
使う側からすれば英語でも日本語でも同じなので1サイトに集積されてるほうが楽だけど、作る側からすれば日本語オンリーの場はニーズあるんじゃないの AIノベリスとのwikiだっけそこに似たような目的のキャラ再現用のがあるけど使えるのかな AIノベリスとのwikiだっけそこに似たような目的のキャラ再現用のがあるけど使えるのかな PCIEの2スロ目って形x16だけど中身x4とかだよな
転送速度落ちるのってどうなんだ？ >>887
モデルのロードが遅くなるくらいで推論にはほぼ影響ないよ Radeonでやってる人いる？7900xtあるけど不都合あるならgeforceに乗り換えようかなと。 digitの詳細が出てきたけどLLM用途では駄目そう
rtx5070相当のGPUを256gb/sで動かすのは無謀かも ryzen AI maxですら70bで2t/s以下だからLLM目的だとどうなんやろ
MoEモデルがもっと増えれば良さげなんやが >>889
VRAMに乗り切れば転送速度関係ないか >>895
VRAM:Up to 288GB HBM3e | 8 TB/sは笑う
B300相当なんだけどこれ価格いくらになるんだ CPU Memory Up to 496GB LPDDR5X | Up to 396 GB/s
Blackwell要らないからGraceだけ売ってくれって感じ digits、273GB/sならまあまあじゃないと思ったけど、DDR6 6400の50GB/sと比べて5倍くらいなのか
実際にどのくらいのパフォーマンスになるかは動かしてみないとわからないしまだ期待していたい所
GPUは思ったより強いね、3060くらいのコア載せてくるのかと思ってた。推論よりは学習向きで、LLMよりは動画生成とかの方に向いてるのかな Gemma3の27Bってコーディングはあまり得意じゃないですかね？ >>893
AI MaxのスペックだけみるとM4 max のバス速度半分くらいだと思うけど
そんなに速度でないもんかね。CUDAベースのLLMを使ってテストしてるのかも
AMDが得意な形式なら倍くらいにはなりそうなもんだが 5090の1.8TB/s並みの速度はこういうのでは無理なのかな？
4090でも1TB/sあるんやで？ ソケットにするとインピーダンス調整の幅が狭いから難しいね
512bitにすると8枚必要になるけど配線の問題で無理
直付けって速度面ではすごいメリットあんのよ 外付けグラボメモリ欲しいと思ったけど直付け以外微妙ならなんかすごく遅くなりそうだな ERPをテキストで遊んでる分には速度それほど気にならないんだけど、音声対話の仕組み作ろうとすると少しでも早い方が...ってなるな
Command aが無規制、実質無料、かなり賢いので助かるが、gpt4-o-miniの方が僅かに早いので悩ましい DGX、いろんな会社が参入してて研究用というには商売気があるのが不思議な気がする
ハードウェア統一とNIM Microserviceでボタン一つでAI機能が動きます、とかやりたいのかね 発表してみたら思ったより一般ユーザーからの反応が良かったから軌道修正しました的な動きはありそうやね >>906
ProjectDigits自体「自動運転車とかの頭脳部分にはウチのDigitsを積めばそれでOKやで！これが世界標準や！」みたいな、COSMOS含めて自動車メーカーとかを囲い込むバカデカいビジネスを狙ってる気がするで
いきなり他社製まで出てくるとは思わんかったけど、何にせよ普及が進みそうで嬉しいわ 273GB/sってゲフォ3060より遅いんやな(3060ti 448gb/s、3060 360gb/s)
うーむ
まぁ結局ベンチマーク待ちやな
m3 ultraはこんなベンチマークでとったわ
https://llm-speed-viz.vercel.app/ あるいは、ロボにDGX Sparkを物理的に載せるとかかな
人型ロボ...のまえにアームの台座にDigit入ってますシステムでAIベースの動作設定が出来ます、とか >>904
3090x3をegpuにして使ってるけど全く気にならんよ
ちょっとモデルの読み込みが遅いくらい
分散ロードしても余り遅くなった感じしない ついにローカルLLM高速化の時代が来たな。
NVIDIAがデスクトップPCやノートPCに搭載できるAI特化GPU「RTX PRO Blackwellシリーズ」を発表
https://gigazine.net/news/20250319-nvidia-rtx-pro-blackwell/
あとは量子化の高性能化で何とかなれば。 >>914
ようやく出てきたか！
これ2月の頭にあちこちのテスト機関と思われる所に発送されてたblackwell 96GBの正体だよな GDDRメモリの卸価格は1GBあたり1500円程度って言われてるから96GB積んでも本来+15万くらいな筈なんだけどな
実際は+100万くらいの値付けして来そう うへぇほんまに噂通り96GBで出してきたんか
A6000ADAが今120万やから200万くらい行くかもわからんな・・・
B100と下位機種の間が広すぎやからそこを埋めるたに値段高くしたかったんかも Xによれば143万円らしい
なんJ民でも3人くらい買いそう ５０９０の3台分と考えると高いと感じなくなる不思議 消費電力的に5090×3は無理だしなあ
でも143万が1年で陳腐化する業界だしな…やっぱつらい🥺 お金持ちしか買えないよねゲームとか他の娯楽と違って進化が早すぎるからどうなるか先が読めない 一番強いのはフリーランスでAIの仕事を請け負ってる奴だよ
本業で稼いでいれば150万のグラボでも経費で落とせる
減価償却は必要だが Mistral Small 3.1 IQ3_Mを4070で動かしてるけど今までで一番言葉を理解して日本語が帰ってきてる気がする 10年戦えるんだったらblackwell 96GB行ってもいいんだが
実際はすぐに陳腐化だからな M3 Ultra500GB 819GB/s 150万円
結局こいつが一番コスパいい >>924
たぶん経費で落とせるけど100万〜200万と言われると腰が引けるわ……
節税効果は数十万程度だからさすがにキツい >>841
Cline + VSCodeとか試したい的にローカルで完結するのは気分が軽い
Clineはとっても便利なんだけど迂闊に使うとAPIをガンガン叩く
しかし恐々使っていたんじゃClineの良さ(悪さ)を知ることができず学習曲線が下がる
または上限に達して、その日は仕事用の質問ができなくなったり
Cursorも似たり。最新のこういうの使う時にローカルあると、遅いけどいくらでも試せるんだよね amoral gemma3-12bというのがあって試したけどだめだった。
なんでも、モラルをっ取ってしまったgemma3らしいんだけど、もちろんエロ目的で。
温度は0くらいにするとだいぶまともにはなる >>925
エロ小説用途ではダメだったけどそれ以外の日本語はいいよね >>933
APIcommand-aより会話してる
ollamaで動かすのが一番良かった gemma3は適当に小説書かせるとなぜか雨が降ってるシーンから始まる
Mistral Small 3.1はなぞの地名設定から始まる LLMに斬新なエロ設定を考えさせる方法ある？
単に「斬新なエロい設定を考えてくれ」と頼んでも
時間停止とか催眠とかありきたりな設定しか出してくれないんだが >>937
温度上げてもダメだったけど、
エロと関係ない要素を挙げて→それを題材としたエロい設定を考えて
でなんとかなったわ！ >>939
自分の理想の性癖で小説を書いてくれるんだぞ
プロの文字書きに頼むことを考えれば100万程度屁でもないわw >>936
逆に知ってる設定は書いといてそれ以外と言えばる ClaudeなりGrokなりにやってもらえばええのでは... >>944
ワイの性癖が外部サーバに出せるようなヌルいシロモノと思うでないw >>936
DeepSeek-R1-32BをTemperature高め（1以上）にすると結構ぶっ飛ぶけど設定か…
キャラチャットとかに使うと面白いんだが >>944
それも１つの手段だろうけど、ローカルLLMの強みはなんといっても連続生成ガチャができることなんだよな ClaudeとかClineで使ったらチャージしといたクレジットがあっという間に爆散するからな
DeepSeek R1 Freeだいぶ助かってる こういうのは上を目指すとキリがないからQwQ系モデルで満足しておく
完璧ではないにせよ、小説もロールプレイもプログラミングも良い感じだし >>935
温度=1.2、top-p=1、top-k=0、min-p=0.02、sampler order=6,2,1,3,4,0,5
xtc：threshold=0.1、probability=0.9
プロンプトは「すぐ終わる短編小説を書いて。さっそく書き始めて。タイトル不要。」
これで10回くらい試してみて。結構マシになると思うよ。
sampler次第でgemma3はもっと性能引き出せそうに感じる。 DLだけして試してなかったモデルを試してみたんやが
ggml-model-Q4_K、チャットしても会話例文を繰り返す感じであかんかった
LightChatAssistant-4x7B_IQ4_XS.ggufはKoboldCppではエラーで起動できんかった
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS.ggufも作例に頼る
やはり27B以上でないと自然な感じにはならんね webbigdata/FanFic-Illustrator
いいなこれ
どの程度再現性あるんだろう
出先で試せん レス数が950を超えています。1000を超えると書き込みができなくなります。
