なんJLLM部 避難所 ★10
レス数が900を超えています。1000を超えると表示できなくなるよ。
今ってデカいメモリ持ってる場合の最適なモデルってQwen-3-235Bなの？
それ基準で考えてる人多いけど >>455
そこらへんがGemini向けに配布されたエロプロンプトが一応動く最低ラインや >>455
メインメモリ256GB載せてGLM(358B)動かすってのもありかも分からん
さすがにここまで来るとMoEといえども10token/s切るみたいやが MiniMax M2.1
Gemini 3 ProやClaude 4.5 Sonnetを上回るスコアを記録 とあるけどウソくせー
Qwenもそうだったけど実際に使うとメジャー級とじゃ相手にならん
いつものごとく試験問題の答えを学習しているカンニングモデルの気配 単に日本語応答だと学習量足りなくて雑魚になってるだけかもよ
あと前モデルのMiniMax M2はRedditでもコーディング以外駄目な子扱いされてたな
そのコーディングも絶賛って程じゃなかったがクリエイティブライティングは特に評判悪かった記憶 >>445
5090おめ
ワイの場合は１か月前だが、5090を買うぐらいならより安い予算でメモリガン積みのPCを新調したほうが良いと思い、
PCIE5.0規格に合わせてCPU,M/B,SSD全部そろえた
結果128GB+16GBでQwen3-235B-Q3が動いて世界が変わったで
というわけで128GBの下は64GBになると思うけどそれだととても勿体ないと思うよ
それにメインメモリに乗せて動かすと、やっぱりCPUパワーもそれなりに使う様だよ
財力があるならDDR4にするとか古いGPU２枚差し(これもやった)とか、変にケチらんほうがええよ 古いPCでDDR4-128GB(今のPCのGPUを付け替える)にしようかと思ってたけどDDR5にすべき？
メモリってベンチマークでは差が出るけど実際にはDDR4・5変わらないって話を聞いて悩んでる
実際の所どうなんだろ？
>>460
ありがとう ちょっと出遅れたけどキャンセルになることなくなんとか買えてさっき置き配回収した
世界が変わった、そこまでか！DDR5早い？
>>453
取り合えすStable DiffusionがメインでLLMも気になってるくらいだからまだ出せないわ
今のGemini3とnanobababaの品質ならすぐにでも買うけど多分まだまだだよね
ただ、AIさんに来年にはローカルでも同程度になるかと聞いたら、昨今のLLMの進歩を見るとなる可能性が高いとい言ってたw
しかもメモリも節約できるタイプが出るみたいな話で大変楽天的だった
場合によってはそこそこのPCを買って待つのもありじゃないかと思ったりしてる 5090持っててやるべきは、動画生成系だと思うよ
Stable Diffusionの生成スピードが速くなるけど、別にできないわけじゃない >>461
DDR4もDDR5もLLM用途だと相対的に見ればたいした差はないよ
DDR5の新品だと今の状況だと2倍以上の価格差になるので128GBまででいいならDDR4にしてその価格差で容量増やしたほうが絶対にいい
というかDDR5の64GBの2枚が30万ってうぇぇぇ・・・・ Gemini liveが手軽なサイズでローカルに降りてくるのはいつになることやら 昔見たPCI-Ex16にM.2 SSDを四枚挿してRAID0でSWAPdisk？だったかでメインメモリの代わりにしてデカいLLMを動かすのがいいかもしれない
PCI-E 5.0なら理論上は512Gbpsの帯域幅あるけど実際のところどうなんだろうね
まあSSDも値上がってるけど DDR4もどんどん生産終了になっていくとか聞いたしメモリは27年まで枯渇しっぱなしだし
数年待てないなら早く買った方がええな こんな状況だから来年は省メモリに最適化したLLMが出てくれると嬉しいな 性能を上げるためにモデルを巨大化した結果、メモリ不足になったわけで
高性能かつ省メモリなモデルができるならメモリ不足も起こってないという でもエロ学習をどんどん弾くようになってるし自力で簡単にモデル作れる世の中になるまで絶望的な予感 >>470
今まではメモリが調達できる状態だったからその方針で進んでいただけで
調達できなくなったらそれに適応するように方針を変えるやろ
他の分野でも必要なものが調達できなくなってからようやくその部分を代替・効率化する技術が発展するとかよくある話だし DDR4を入手よりも対応するマザーボードの入手が難しい
CPUやメモリは耐久性高いんだがマザーボードは大量の部品の集まりで故障しやすく中古はハイリスク 条件付きとはいえDDR4の生産終了が延期するらしい
DDR4がレガシー化してるとは言え、この動きが続けば俺としてはありがたい・・・
Samsungが主要顧客と「キャンセル・返品不可」の契約を締結しDDR4の生産終了を延期
https://gigazine.net/news/20251225-samsung-ddr4-ncnr/ 5090と192めもりあるから何かに有効活用したいけどやっぱり動画生成に向き合うのがいいのかなあ 64GBx2の価格が上がりすぎて、静電気怖くてAI用PC弄れん。 5090あるなら32BくらいまではQLoRAできるし画像生成系でもSDXLのfull finetuningもできるし学習なら割と遊べる Mac買い替えるんだけど、流石に128GBとかは買えないから買えて64GBなんだけどローカルのモデル動かすには中途半端なサイズなのかな？
LLMのこと考えなければ64GBなんて全然いらないんだけど今あるRTX5060Ti+128GB(DDR4)の環境より早くなるならありかなって。。 LLM用途で64GBは後悔することはあっても満足することは無いと思うで うーむ。ようやく化石PCから新調したけど思ったより速度出ないな。
magnum123b iQ3k_mを旧PCで0.17t/s
同Q8_0を新PCで0.41t/s
うーん、なにか設定ミスったかな。まあ、CPUメモリだしなぁ >>431
そちらの環境では何t/sでてますか？
こっちは1.89t/sでしたわ
GLM4.7 Q5_K_XL >>485
4.1t/sですわ
GLM4.7 Q5_K_XL 128GBでQ5で使える170Bくらいの良い感じのモデルが欲しい LM Studioでとりあえず色々なモデルダウンロードしてるんだけど
ふと思ったがファイルってそもそも安全なんだろうか？ 何も考えずに ollama 使ってたけど直接 llama-server 叩いたほうが速いうえに webui も付いてたんだね
ollama ってなんのためにあるんだ… GLMくらいのサイズのMoEで要らないエキスパートを外せれば128GBでも動きそうだが
メモリ128GBの貧乏人のことを真剣に考えてくれる開発元はQwenくらいしかないのが悲しい現実 米欧中のモデルって中身がほとんど英語と中国語だから
日本語メインのユーザーから見たらスッカスカのsparse状態だよな
もちろん英中を抜いて精度が維持出来るわけではないだろうが
日本人があまりにも不利すぎる >>487
さんきゅ
コンテキストをVRAMに乗せて、メモリ設定をexpo1にしたら、generate 2.16t/sになったけど、まだ半分かぁ >>480 予算という制限は最優先だけろうけど64GBはちょっとつらい
Macはメモリ全部をVRAMに回せるんだけど、当然OSの
分が必要なわけで 8から10GByteは少なく見積もったほうがいい
もともとQ4対象とするモデル(gpt-ossとか)じゃないと劣化が激しくて
実用には程遠い(Q1で「動いた!」と夢を見てもねw)
最近MoEが流行ってきたせいで128GByteでもちょいちょい足りない
待てるならM5 maxを待った方がいいよ
M3チップから先のM系CPUは、mlxモデルなら量子化圧縮の他に内部でリアルタイムで
コストなしにメモリー圧縮してくれる
例えば100GByteのモデルだと80GByteくらいになることもある。当然まったく縮まないモデルもある
あと画像動画系はM4maxまでは使いもんにならんので素直にRTXを選択だ オープンなモデルで見ると中国製はまだ日本語わかる方で英語圏のはマジで日本語知らない
Llamaとかきついね
最初あれを日本語ファインチューニングしてた会社多かったけどqwenの方が日本語分かるってみんな乗り換えたし DRAM市場は価格変動が激しく、利益率が低いことで知られています。
特に、AIブームによるサーバー向け需要が優先され、PC向け供給が逼迫している現在、
ASUSのようなPCメーカーにとっては調達コストの上昇が深刻です。
噂では、ASUSが2026年に自社DRAM生産ラインを構築（または提携）するのは、
自社製品（ノートPC、デスクトップ）の供給を安定させ、価格転嫁を避けるためとされています。
しかし、この市場はSamsung、SK Hynix、Micronの「ビッグ3」が支配しており、
新規参入は資本集約的で収益化が難しい。台湾企業がこうした市場に手を出すのは、
単なるビジネスではなく、台湾の半導体エコシステム全体の戦略的強化を意図している可能性があります。
台湾政府は半導体を国家安全保障の柱と位置づけ、TSMCのようなファウンドリ（受託製造）だけでなく、
メモリ分野での自立を推進しています。これにより、中国依存を減らし、
米台同盟を強固にする地政学的メリットが生じます。 >>489
画像生成AIの初期にモデルデータに任意のコードを仕込めるのが発覚して
安全なSafetensorsやGGUFに移行したから今はほぼ大丈夫 >>484
PC新調したんやね
同じモデルで比較しなかったのはなんでだろ？ >>498
書き忘れてたわw
iQ3k_mだと1.32t/sやった
Q8でここまで落ちるんかとショックだわ
>>487のニキと何が違うんやろ
多分スペック的には大差ないと思うけど
ryzen7 9800x3d msi rtx5090
メモリcp64g56c46u5✖4 256G
5090怖いんでPL運用 >>499
うひゃ、すごいな
俺は4年前のスリッパなんでそこまで性能良くない
俺のスペックはこれ
Threadripper Pro 5955WX(16c32t)
DDR4 3200MHz 32GB@8枚(オクタチャネル)
RTX 5090+RTX 3090@3枚 PCI4.0接続
違いはメモリ帯域かなと思ったけど
5955WXは2CCDという制約があって、メモリ帯域がまだフル稼働してない状態なんよ
実効帯域は半分の90GB/s弱のはず
これだとDDR5のハイエンドデスクトップと変わらんはずなんよね
Magnum v4 123B Q8試してみたけど0.58t/sだったので、GLM4.7ほどの差はない模様 >>500
すげーその構成でどれくらいの電源が必要ですか >>500
おおお
サーバでvram爆盛りやないすか
土俵が違いましたわw openRouterのGLM4.7はプレフィルにここの<think>のやつを入れたらだいだいOKだな
ただreasoningのほうに本文が全部入って帰ってくることになるからapi呼び出しコードとかちょっと修正がいるかも
ttps://www.reddit.com/r/SillyTavernAI/comments/1pv8jto/glm_47_my_holiday_present_to_those_effected_by/ 帰ってくることになるから ×
帰ってくることがあるから ◎ >>503
4.7の規制解除版が出るまで
huihui-ai/Huihui-GLM-4.6-abliterated-GGUF
これ使ってる
thinkオフにしてやるとレスポンス良くて使い勝手いい
しかも日本語エロ最高ｗ ノベルはどこでみんなプロンプト勉強してるんだろ
学習場所みたいなの知りたい
ちなみに、SDはCivitaiなど先人のプロンプトが物凄く役に立った あと、ノベルに限らずLLMへの質問の仕方で回答かなり変わるしイマイチかん所が分からない Grok先生とのレスバが最強でしょ
ＧＰＴのエロ解禁でどう変わるか >>56
尻タブのキャラクターカードを参考にするといい
https://aicharactercards.com/
ピンキリだけど何の取っ掛かりもなく一人で試行錯誤するよりはだいぶマシだ モデルの進化に伴ってプロンプトの書き方は意味を失っていって、適切なコンテキストを渡せるかどうかの話になっていくから、今からプロンプト頑張っても1年2年で賞味期限切れになる気がする そもそもプログラム言語が書けなくても色々やらせられるのが画期的だったんだからそれを学ぶってのも変な話なんだよな ある程度は同レベルじゃないと会話が通じないのと同じで、AIに高度なことをさせようと思ったら自分自身にも知識が必要という AntiGravity時代やから的外れなコードやドキュメントを指示出しで軌道修正するスキルが一番大事や
書けない分からないじゃなく出してから考えるんや GLM4.7を量子化無しで動かしたいなあ
500万円あったら足りるんかね >>509
ありがとう
キャラクター設定を作るまでは分かったけどそれでどう楽しむのかが良く分からない
SDだとシンプルに画像を作ってみて楽しめるけどLLMはどうするん？
>>511
SD、2年やってるけど、プロンプトは基本的に同じだな、ただ関わってると大きな変更があると掲示板で話題になるからその時一部変更してそのまま移行できてる
>>514
そんなことはない、分からなければ聞けばいつまででも教えてくれる
サンプルプログラムを貼り付けるだけのスキルしか無いから、高度なこと(何が高度なのかすら分からない)は無理だと思うけど、
こんなスクリプト作ってと言って、動くまで繰り返したら中身の全く理解できないソフトができたりしてるわ しかも、Perlしか使えないのに、PythonでGUIなソフトまで作ってくれた
時間はかかるけど、どんな物が欲しいのか(可能なら途中の処理がはっきりしてれば)がはっきりすればある程度はできる時代だと思う
ただ、ファイルの読み書きみたいな基本的な事もお任せしてたら、最近それも忘れてきた、AIなしだと何もできなくなりそうな怖さある >>518
LLMはAIのシステムプロンプトに「あなたはこういう役割だからこういう風に振舞って」と基本ルールを記述しておく。
それとは別に「今からこういうことをして」というユーザープロンプトを与えると、基本ルールに沿った挙動で返信してくれる。
だから例えばAIに対して「あなたはファンタジー小説家です。私はあなたの担当編集者なので私の指示に従って小説を書いてください」という基本ルールを与えておいて
「それでは今から、物語の最初のシーンである勇者が冒険に旅立つ場面を書きましょう」とユーザープロンプトを与えるとファンタジー小説家らしく小説の冒頭を書き始めを生成してくれる。
スクリプト作るときも基本は同じやで。
AI画像生成、特に最近主流のリアスなんかはdanbooru語のプロンプトを与えるだけで良かったけど、LLMはもうちょっと設定の仕方が細かく分けられているって感じ。
さらにAIが理解しやすい記述方法にマークダウン記法とかを使った構造化プロンプトがあるからそれぐらいは覚えておいた方がいい。
構造化プロンプトはZ-image turboでも有効だと判明したからAI生成画像をやる場合でも覚えておいて損はないと思う。 チャッピーとかみんなマークダウン形式でやり取りしてる >>520
これでどうエロに繋げるの？
とりあえず、mistral-small-24b-instruct-2501-abliterated-i1落としてエロ小説にしてと言ったらやってくれたけど、
それなら本でいい気がするが、LLMみんなハマってるし、もっと楽しんでるよね？
いまいち楽しみ方が分からん
あと、プログラム(Perl)だけどやってほしいことを箇条書きや文章で投げるだけばかりだったわ
ただ、AIにプロンプトをお願いしたら###がたくさんあるのを返してくれるな この記法も覚えたほうがいいのか
z-imagaはまだ使ってないけどnanobananaだと誤字脱字無駄な文章ありまくりでもいいものができるし、内部でうまいこと処理してくれてんのかな
>>521
みんなのプロンプト例をあまり見ることがないから知らなかったわ
画像だとあるけど、LLMでもこんなプロンプトでこんな物作ったみたいな例がたくさん乗ってるサイトってあるかね？
そういうのからざっくり勉強(真似)したい チャッピーとかは頭いいから、適当に書いても組みとっていくれるけど
マークダウンで書けば100%指示が伝わるから >>522
絵だってAIで生成せずともpixiv見るなり画集やCG集買うなりすればええやろ？
でも自分好みの絵が欲しいからAIで生成しているわけだ
文章も同じで自分好みの小説やキャラとのチャットを楽しみたいからLLMで生成するわけだ
本で満足できるなら別にLLMで生成する必要は無いで
エロに繋げるならエロ小説だけでなく
koboldcppのアドベンチャーモードを使って、プレイヤーの行動を記述することで物語が順番に進むエロTRPGみたいなこともできるし
単にキャラ設定を書いて自分好みのキャラとエロチャットを楽しんでもいい
妄想力とリビドーを働かせて遊ぶんやで >>522
自分のお気に入りのキャラ（版権でもオリジナルでもいい）の設定を書いて
自分好みのシチュエーション提示して書いてもらったりする。
エロなら竿役の設定もね 絵は長らくdanbooru語で書かなきゃいかんかったから変にプロンプトぢから必要なだけで
こっちは日本語でも英語でも人間相手に分かりやすい書き方なら何でもいい
典型例にはmarkdownがある やりたいことやモデルにもよるけど、AIが得意な言語に合わせるのは重要だぞ
Nano Bananaは日本語だと全然言うこと聞かなくて
プロンプトを英語に翻訳したらあっさり意図した画像が生成できたりする >522
よく分からないうちはもっと大型のLLMでやるほうがいい
gemini3.0proのAPI版とか
で、文章生成AIスレを両方とも覗いて参考にするのがベストに思える
ある程度小説読むひとなら、エロを主目的にするよりは文章を書くことを目的にしてエロで習慣化する、てのがいいんでないの
面白さを優先してたらエロさと微塵も関係ない話を10万字書いてました、みたいな話はあるあるだしね
数を書くと文章の型とキャラの型が出来てくるから、そこまで行けばあとは好きに作れるようになるよ >>522
ローカルAIなんてGPTやらGeminiやらと性能が雲泥の差があるから、余程の特定用途でもない限りローカルAIを、しかもエロ用途で使わない。
そういったコアな質問をしたかったのかな？ MiniMax-M2.1って出てんねんな
229Bだって
MiniMaxってあまりここで話出てこないけどどんなんやろ MiniMaxは日本語全然ダメやね
表現が貧弱というより日本語で答えろって言っても中国語か英語になりやすい >>524,525
同人誌を知らない人が、初めて同人誌というものを知ったら夢中になるじゃん
同じ様に、ローカルLLMをどんな風に楽しく使ってるのか、どういう世界があるのかが気になってる
チャットだけどエロゲ(殆選択肢なし)は昔良くしてたけど、主人公の発言がもし大量に必要ならコミュ力無いから正直進められる気がしないわ><
自分をアシストするような強化したLLMを用意したらいけるかもだが
あと、ソフト使ったりそういう感じで作り込んだりするんだな勉強になる！
ただこれって公開してる人居ないのかね？2chの頃だと自作小説を延々と投稿する人とか居たけけど最近そのスレ見かけない
>>527
かなり適当な書き方やDanbooru語でもいい感じで出るけど、英語必須って色々とレベル高そう
>>528
つい最近ローカルLLMはじめたんだけどサイズ的に小さいかな？ ただ、思ったよりも的確で驚いてる所。
パスワードとか個人情報がたくさんあって表に出したくないのはローカルで使えそうな気がしてる。
また、無料しか使ったこと無いけどGemini有料版は更に優秀？無料でも十分凄いと思ってる所だが使いこなせてないかも
あと、文章生成AIスレあるのか、見てみる
>>529
自分の場合版権もの多めでエロ画像を1日5000枚くらい見たいという熱烈な欲望があって生成AIをはじめた
GeminiはSDのLoRA学習元画像を作るのに使ってる
このスレではSDよりも高価なPCを用意してLLMで楽しんでる人も多く、どう楽しんでるのか気になってる感じ
自身はヌルオタで情報集めるのが下手で同人という世界を知ったのもかなり遅く、楽しそうな世界はあるような気はするけど、具体的な世界が見えない感じ
ただ、規制なしLLMは元々化学を専攻してた身からすると、どこまでも知識を掘れるのは面白いと感じてる、作ることはないけど知識欲はなかなかに満たしてくれる
あとRAGとか？うまくすれば、ちょびっツみたいなAIが作れるのかとか気になってる 自分もコミュ力ないから画像認識モデルに画像投げて「過激で性的なストーリーを」で終わりよ
Qwen3-VL-32B-Instruct-hereticあたりならノリノリで書いてくれるぞ
AI絵に設定やストーリーが加わるだけでも没入感が全く違う >>532
主人公の発言なんて1文でもいいよ。あとはそれに沿って適当に進めてくれる
もしくは3つの選択肢に番号を振って提示させるようにすれば「1」って打つだけで選択肢1の内容を書き進めてくれるようになる
1. 町に出かける
2. ダンジョンを探索する
3. エルフの村を襲撃する
みたいに文章の終わりに次のユーザーの行動の選択肢を提示させるようにするんだ
他にもキャラ設定とシチュエーションを練り込んで、「昨日1日中犯され続けたことについて1時間ごとに区切って詳細に報告しろ」って言えば
どんな風に犯されたのか好きなキャラが淫語連発しながら報告してくれるとか色んな遊び方があるぞ
とにかく発想力をフル活用して自分がエロい、楽しいと思う遊びをするんだ
ある程度賢いモデルなら大体のことは出来る BTO受注停止騒ぎの直前に新規にPCの発注をかけてたけど
納期が長いと冷静になっていけないなぁ…
外部のAPI経由でLLM使うなら
メモリを128GBにしなくても良かったんではないかとか
今になって頭の中でぐるぐるとしちゃって困る
GPUは16GBで抑えちゃったのになぁとか PC新調しようかと思ったらネット注文不可
今日アキバに行ったんだけど、BTO軒並み在庫無し
グラボ自体も在庫無しorおま国価格
ヤベーよ 流石に2週間遅くないか
来年以降メモリ上がるから急いで買えって風潮だったやん 新しいモデルを作ったで 小説生成支援アプリのproject wannabeと合わせて使ってみてほしいやで
https://huggingface.co/kawaimasa/Wanabi-Novelist-24B-GGUF
最低VRAM:16GB 推奨VRAM:24GB(q5km 24Kコンテキスト)~32GB(q6k 128Kコンテキスト) 専用アプリに特化してるから一般的な応答はできないので注意やで >>538
おつかれさんやで！さっそくDLさせてもらう！ mradermacher/Mistral-Large-3-675B-Instruct-2512-i1-GGUF
ここの i1-IQ3_XXS 258.9G ってなってるけど、メモリ256Gに余裕で乗りましたので報告
若干規制掛かってるけど、プロンプトでなんとかなるレベルかな
日本語はかなりいい
ただ、HG側の問題でダウンロードは普通にやるとエラーになるから、Communityの書き込みを参考にしてね ヒイヒイ言いながらddr4 3200 32gbを中古で買い集めて128GBにしたよ
とりあえず今挿して動くならそうそう壊れたりはしない…よな？
高騰は辛いけど手持ちのメモリもそこそこの値段で売れたので実質一枚平均12000円くらいだった >>543
おめでとう
これでQwen3 235Bデビューできるな >>538
いつもありがとうございます
ソフトとモデルをアップデートしたのですが
以前には一度も出なかった以下のエラーが出てしまいます
コマンドプロンプトでは
[ContextUtils] Failed to count tokens: All connection attempts failed
[ContextUtils] Failed to get true_max_context_length: All connection attempts failed
ソフトの出力窓では
--- 無限生成中エラー: Request Error: An error occurred during the request to http://127.0.0.1:5001/api/extra/generate/stream. Details: ---
と出て停止してしまいます
何か設定を間違っている感じでしょうか
他のモデルを使用しても以上のように停止してしまうので
困っております >>533
その方法は良さそうだなしかもGeminiだと拒否されそうな内容、ローカルで試してみる
>>534
選択肢すらAIに作ってもらう発想は思いつきもしなかった、発想が凄い、ここで聞いてよかたぜ >>545
新規に環境を作り調査しましたが再現できませんでした
エラー内容から察するにkoboldcpp側との接続が確立できていないので、以下の内容を試してみてください
・koboldcppのアップデート（最新のkoboldcpp-1.104で動作確認しています）
・koboldcpp側でモデルを読み込んだ際に出る"Please connect to custom endpoint at http://localhost:5001";のメッセージを確認し、5001以外のportが使われている場合は設定→KoboldCpp設定→KobldCpp API portをkoboldcppの表示に合わせる
・koboldcppを別フォルダで新規クローンしてみる
これでも問題が解決しない場合は再度状況を教えていただければ対応いたします >>547
× koboldcppを新規クーロン
〇 wannabeを新規クーロン
訂正します >>547
ご返信ありがとうございます
koboldcpp.exe最新版使用や環境再構築、ポート番号設定など
作者様の指示通りにした後、再度同じ動作（起動させて「無限生成」）
をしたのですが、以下のように>>545で書いたようなエラーが出てしまいました
ソフトの生成窓には
--- 生成ブロック 1 ---から開始され、数文字あるいは数行出力された後で
--- 無限生成中エラー: Request Error: An error occurred during the request to http://127.0.0.1:5001/api/extra/generate/stream. Details: ---
と出て停止してしまいます
コマンドプロンプトでは
[ContextUtils] Failed to count tokens:
[ContextUtils] Failed to count tokens:
[ContextUtils] Failed to count tokens: All connection attempts failed
[ContextUtils] Failed to count tokens: All connection attempts failed
[ContextUtils] Failed to get true_max_context_length: All connection attempts failed
と出てその後、窓を閉じるまで後段2行が連続して出力されます
なお、関係ないかも知れないですがpythonのverは3.13（Win10 64bit）で
モデルはWanabi-Novelist-24B_Q5_K_M.ggufを使用しました
また、ログによると以下のようなパラメータ設定でした
（デフォルトから変えておりません）
"temperature": 0.5,
"min_p": 0.1,
"top_p": 0.95,
"top_k": 40,
"rep_pen": 1.1,
"stop_sequence": [],
"banned_tokens": [],
"ban_eos_token": true,
"max_length": 500 >>549
538です。
エラー内容はkoboldcpp側との通信が失敗していることを示していますが、数文字は出力されているため初期の接続はできていると思われるので原因を切り分けるために以下について教えてもらえませんか？
[ContextUtils] Failed to count tokens: All connection attempts failed
[ContextUtils] Failed to get true_max_context_length: All connection atte
というエラーが出ている状態でのkoboldcppの状態を教えてください。
簡易チェック
・エラーが出ている最中にhttp://localhost:5001 が開けるか（5001は手元のport番号に合わせる）
→開けない場合はkoboldcppがクラッシュしています。コンテキストを減らす、小さなモデルを使うなどして様子を見てください。
・上記kobold側の簡易UI経由では途切れることなく生成されるか
→途切れる場合は別の量子化モデルでも同様の症状が起きるか確認してください。 3090(24GB)x2＋メインメモリ128GBで、Qwen235B-A22Bも123B系も0.5t/sくらいなんだが、もうちょい早くならんもんかね >>551
何で動かしとるん？3090の性能がどんなもんか詳しくしらんけど流石にQwen3-235Bはもうちょい早くなると思うぞ
ワイは5070tiでllama.cppから動かしとるけどそこまでは遅くない >>550
横からですが同じようなエラーに行き当たっていたので
環境としては5060ti 16GB DRAM 128GB
Windows11、Koblodcpp1.104、Project-Wannabeのmainブランチを本日pullしてます
WannabeのvenvはPython 3.12.6で構築してます
動作としてはKoboldcpp側でエラーが出て結果的に両方を落とすことになります
modelとしてWanabi-Novelist-24B_Q3_K_M.ggufと
wanabi_24b_v03_q4km.ggufを用いた場合共に発生
またKoboldcpp+sillytavernでモデルが動作することを確認しています
wanabe上で入力が限られた状態での初回連続生成では上手く動くことが多いのですが、
1度停止した後の再度連続生成でエラーが出て停止するケースが多いです
ただよく見ると、参照する本文がある程度長いと初回の連続生成でもエラーが出ているみたいです
しばらく
[ContextUtils] Failed to get true_max_context_length:
が続いた後稀に通信が成功するみたいですが連続生成を中断すると
koboldcpp側で正常に通信が終了せず
以下を含む数行のエラーメッセージがポート番号を1つずつインクリメントしながら延々続きました
Exception happened during processing of request from ('127.0.0.1', 62026)
(略) >>555の続き
また、本文入力なしでタイトルと簡単なあらすじだけだと初回は正常に動作し
本文を500トークンほど反映した2回目の生成ではKoboldcpp自体が落ちました
落ちる直前に見たときにコンテキストlengthが42xxを期待しているのに実際には41xxしかなかった
といった趣旨の文章が読み取れた気がしましたがその後Powershellごと落ちているのですいません
Koboldcpp側が落ちるとProject-Wannabeの側も正常に停止せず下記のようなメッセージで空回りが続くので
Powershellごと停止する形になっています
[ContextUtils] Failed to count tokens: All connection attempts failed
[ContextUtils] Failed to get true_max_context_length:
(上が延々続いてCtr+Cを押すと、この下の数行が続く、停止しないのでPowershellごと落とす)
[ContextUtils] Failed to get true_max_context_length: All connection attempts failed
Error calling Python override of QObject::timerEvent(): Traceback (most recent call last):
File "J:\LLM\Project-Wannabe\venv\Lib\site-packages\qasync\__init__.py", line 281, in timerEvent
del self.__callbacks[timerid]
~~~~~~~~~~~~~~~~^^^^^^^^^ >>552
LM Studio
ソフトで差が出るもんなの？ 価格コムでVRAM16GBで見てたら
RTX5060Ti 16G 8万円
5090 32GB 65万円
5060Ti 2枚で32GBになるし、仮にだけど8枚でVRAM 128GBとかもあるし
下手に5090するよりも5060Tiで自作頑張る方が実はLLM向き？
というか、はじめっからAIなら最上位GPUって思ってたから
そもそも見てなかったんだけど、これかなり美味しい？
気になってAIに聞くと錬金術とか言ってるけど実際どうなんだろ？ >>555
詳細なご報告ありがとうございます。
やはり手元の環境では再現しなかったのですが、頂いたログから通信過多によるKoboldCpp側のクラッシュと推測し、以下の修正を行いました。
・生成中の不要なAPI呼び出し（トークンカウント）を停止し、通信負荷を大幅に軽量化
・終了時にプロセスが残りフリーズする問題を修正
git pullをお願いします。
もし更新後も改善しない場合は、本ソフトの「設定」→「生成パラメータ設定」→「最大コンテキスト超過時の処理」を『最大本文文字数にトリム』または『何もしない』に変更して動作をご確認ください。 >>558
LM Studioの設定どうなってる？
Qwen235B-A22Bの場合はMoEモデルだからGPUオフロードを最大にして、Force Model Expert Weights onto CPUにチェックをいれるだけだよ
コンテキストサイズやCPUスレッド数はお任せ
画像は別MoEモデルの設定ね
https://i.imgur.com/jd8G4zK.png 8枚64万円とそれを動かす巨大リグをなんとか構築しても128GBにしかならない、という時点でどうもこうもないような >>563
5090 だと65万円で32GB、同じ価格で4倍のVRAMを確保できるのはかなりお得じゃない？
リグの料金がいくらになるのか分からないけど、ここまでじゃなくても、
2枚なら普通のM/Bで使える、この価格で5090と同程度のVRAMが確保できるのはかなりお得じゃないのか？
もちろん、これで足りないのはRAM依存になるけどVRAMが大きければそれだけで早くなるような気もする VRAM128GBとメインメモリ128GBあれば大抵のことはできる パフォーマンス重視ならllama.cppを直接叩いたほうが良いのでは
llama.cppをバックエンドにしてるソフトは本家より遅くなることはあっても速くなることはないだろうから ただデカいモデルが動かせれてコンテキスト出力されるまでの時間が5分とかかかってもいいなら4枚刺しが正解と実際に検証した俺が言ってみる 画像や音声生成は苦しいがLLM目的ならradeonも選択肢に入るんやで。
10万割りしているRX7900XTX 24GBつこてるけどlammacppやlm studioでは全く困ってない >>555
詳細な情報提供ありがとうございました
>>561
迅速なアップデートありがとうございます
作者様や>>555様の言われたとおり、
12/28verではトークンを入力しなかったりかなり少なめにすると
koboldcpp.exeがクラッシュ後通信エラーにならず再現されませんでした
12/30の最新verでもレガシーや現在verのgguf、また他mistralモデルのいくつかを使用しても以上のエラーは再現されませんでした
そのため、「「最大コンテキスト超過時の処理」を『最大本文文字数にトリム』または『何もしない』に変更」せずともエラー無く動作し続けております
本当にありがとうございました >>565
ただこんなにコスパいい方法ならもっと出回る気もするけどあまり話題にならない
実際にLLMで早くなるのか気になってる
>>567
そこまで遅いならRAMつけた時とあまり変わらない？
16Gなら他にももう少し上のクラスのGPUもあるけど、そもそもLLMは複数枚カードでもあまり早くならない？
AIさんに騙されたか・・・？ 5060tiのメモリ帯域はそこまで速くないからなぁ… 画像/動画生成用途ならGPGPU性能が物を言うし
LLM用途ならMac StudioやRyzen AI Max+ 395があるから
微妙なグラボ複数枚はどっちにしても中途半端な気がする LLM用途しかしないなら、Mac Studio（512GB）が最強やろな
俺だったら512GBしか買わん
実際動かしてみると上のクラスを動かしたくなるもので、128GBとかだと多分残念な思いをすると思う
画像生成はM5に期待やな
GPUを複数枚挿す構成はvLLM が活きて、バッチ処理がめちゃくちゃ速い
画像解析などのVLM系にも有効やし、
アプリ開発でもいろんな使い方ができる
マルチGPUで実用的なLLMは非MoEならMagnum-v4-123Bが有力
ただし、最低でもVRAM 72GB以上は必要で、24GB GPUを4枚挿ししたくなる
最低でも10 token/s以上を狙うなら、
全スロットが PCIe 4.0 x16以上の
ワークステーションクラスが欲しいところやな
まあ、今はMoEが主流なので、コスパでいえば高速なメモリをたっぷり積んでVRAM24GB用意するのがいいかも？
そのメモリが高いんだよな 以前なら150万あったらxeonでメモリ1tb載せられた・・・
今じゃ多分無理やろが 今の状況で512GBのMacとかいくらになるんだ
Appleもそこまでメモリ確保出来てないって話だし次は倍ぐらいしそう 5060Ti の帯域が狭いなら5070 Tiとか？これでも5090と比べたら半値でVRAM(16+16)確保できる
MoEでもメモリいくら増やしても速度は遅いし、メモリは現状維持で、GPU複数でVRAM増やすとかなり快適になるんじゃないかと思ってな
ちなみに、VRAM24でちょっと大きいくらいのMoEモデルなら驚くほど早かったわ
Mac StudioやRyzen AI Max+ 395ってどの程度快適なんだろ？以前ネットで調べた限りだと遅いって話だった気がするけど情報あまりない
あと、RTXならLLMの為に買っても実際には他の用途でも使いまくれるのが大きいかと >>562
ありがてえ、2t/sが安定するようになった！！！ >>562
これ見るにLM Studioはn-cpu-moeには非対応なんやろか？
そうだとするとVRAM48GBあるんやろからVRAMだいぶ余ってそうやし
llamacppで設定詰めたらもっと早くなるやろな >>579
そこから設定少し変えて、モデルをメモリに保持とmmapをOFFにして、kvキャッシュをそれぞれQ_8にしたらもう少し速くなりそう
>>562はGLM4.7でkvキャッシュ量子化してないからメモリに結構余裕がありそうやな >>578
30BくらいならRTX5090が早いけどgpt-oss-120bだと
5090で15tk/s、macだと70tk/s(M4max松)-120tk/s(M3Ultra松)
30Bはホビーで70Bくらいからそろそろ使えるレベル
gptのほうはMoEでロジックは強いけど1つが小さいから小説とかは弱い
最初が遅い厨がでるけどkvキャッシュがあるからほぼ解消済み >>582
macそこまで早いのか、昔、ネットで遅く高価なホビー用途って言われてたからビックリだわ
ちなみに、5060Ti や5070 Ti複数でVRAMを増やした場合どうなんだろ？
5090 1枚(32GB) 15tk/s
5070Ti 2枚(32GB) ??tk/s
5070Ti 4枚(64GB) ??tk/s
5060Ti 2枚(32GB) ??tk/s
5060Ti 8枚(128GB) ??tk/s
みたいなのが気になってる
VRAMだけ考えると5090って極端に高く他はかなり安く見るから気になってる
AIに聞くと錬金術だと言ってるが本当にこのアイデアは錬金術なんだろうか？ macは初速は速いけどコンテキストが大きくなってくると生成前処理が致命的に遅くなる gpt-oss-120bなら5090 2枚で設定は不明だが78 tpsは出るらしい
VRAM同じになる5070ti 4枚もしくは5060ti 4枚ではそれ以下だろう
ちなみに自分は5060tiと3060の2枚で20 tpsほど（ddr5なら24は出るらしい）
なので5060ti 2枚だと良くて30 tpsとかそんなもんだろう PCIe経由ってのがボトルネックだよね。PCIe7までいっても512GB/s程度だし
しかもPCIのでっかいパケットヘッダー(TLP)がくっつくから現実その速度はでない
NVLinkなら4.0で900GB/sも出るから、5060にNVLink4が使えると魅力倍増なんだけど あと5090単体でも15 tpsは低すぎるし設定ミスってそう 今4090で試したら18token/s出たから
5090だと素の速度が4090より速いのとVRAMが+8GBな分Expertを多くVRAMにおけるのと
5090はfp4の演算機持ってるってのでmxfp4のgguf使えば下手したら2倍速くらいは行くかもわからん ちなllama.cppでBlackwell世代のGPUを使ったときにmxfp4が高速化するようになったのは1週間ぐらい前のことやから
5090持っとる人は最新のllama.cppに更新するんや
ビルド時の問題のせいで公式で配布されてるバイナリでmxfp4に対応したのはおとといのようやから落とすなら現時点で最新のにするんや
そしてmxfp4のGGUFでベンチマーク取ってくださいお願いします
ただただ興味からどのくらいの速度出るのか知りたいんや・・・ 最新の7588を試してみたけど5060tiだと少し前の7502と比べてtpsに違いはなかった
設定を見落としてる可能性もあるけど17.5 tpsくらいだったよ 5060tiでそれやと5090なら30近くは行きそうやが最新ビルド版で高速化しなかったんはよくわからんやね
mxfp4高速化が入った状態でビルドされはじめたのがb7567からのようやから
7502から7588は高速化すると思うんやが
llamacppがmxfp4対応するときに
https://huggingface.co/bartowski/openai_gpt-oss-120b-GGUF-MXFP4-Experimental
これを元にやってるっぽいからモデルこれにしたらどうなるやろか 5090で120bだとボトルネックがGPU側ではなくメインメモリの帯域だからじゃない？
6000 PROとかで全部VRAMに乗せられるなら多少は早くなるかも（それでも今度はVRAMの帯域幅に律速されそうだけど） 全部VRAMに載ったらそもそもインタフェースの速度を気にする必要がないから段違いの速度なるで
調べたらPro6000でgpt-oss-120bが145token/sやって >>592
このモデルとb7588で再度試してみたけど自分の環境（5060ti）ではggml-org版と変わらないな（17.5 tps）
3060単体でも16 tps出るのでVRAM 16GB程度では効果あっても雀の涙なのかも？
mxfp4について情報収集したことないので何か間違っとるかもしれないし、時間あるときに自分でもビルドしたり試してみる gpt-oss-120bをVRAM16GB,メモリ64GBだと落ちる寸前だな
llama-serverでmlock有効にしたらOSがフリーズした
誰か動かしてる人いたらおすすめ設定教えてほしい。 >>597
5090がどんどん値上がりしてPRO6000は値下がり傾向、本当のPRO6000がそれなりに当たり前になりそうな気がする
というかVRAMだけで考えたら、RTX 5080 16GBと比べてもかなり安いんだな VRAM72GBのpro5000も年明け出荷のようだし、geforce多枚積みよりはこっちの方が筋いいわな あけましておめでとうございます本年もよろしくお願いします
>>561
遅くなりましたが555です、対応ありがとうございました
こちらでも更新後に正しく動作することを確認できました RTX 5090は5,000ドル（約78万円）に値上げする見通しとか
値上げする情報はあったけど、ここまでとはな
ローカルAIは富豪の遊びに… VLM動かせる環境作ったからQwen3-VL-235B使ってみた
そもそも認識しないんじゃないかと思ってたけど、NSFWでも思ったよりずっとしっかりしたキャプション生成できるな
https://i.imgur.com/n74THhW.jpeg グラボの値上げえぐすぎるだろ
これとてもじゃないけど今後はローカルとか無理だな >>604
NSFWの単語を知らないだけで説明はしてくれようとするんやな
世のエロ画像を日本語/英語で説明させてその説明文とdanbooruタグを画像と一緒に学習させたら
画像生成のプロンプトが楽になりそうやが
noobとかがやってくれへんかなぁ 横からだけど厳密にテストしたわけじゃないけどQwen系はパラ数デカい方が規制緩くて小さい方が厳しい感じだったな
あとエロ画像解説させるときはシスプロに脱獄文入れて画像と一緒にわたすプロンプトで「外性器はチンポ|マンコなど下品な単語で解説してください」みたいに誘導すると普通にそっち系の単語で解説してくれた思い出 LGAI-EXAONE/K-EXAONE-236B-A23BっていうLG製？のモデルが出てるけど
redditで英語の性能があまりよくないって言われとった
英語がダメなら日本語はもっとダメかな どうだろ
もし韓国語強いんだったら日本語もやれるかベースとして優れてそう 韓国語って元々漢字ベースだったものをハングルに置き換えたせいで同音異義語を文脈からしか区別出来んからLLMモデルしんどそうだな
日本語で例えるなら全てひらがな表記してる感じ GLM4.6 357B Q4kmがubuntuでKoboldCpp linux版で4.5token/s出たので報告。
スペック:ryzen9 9950X 256gb(4800MHz) 3090 1枚
--gpulayers 94 --n-cpu-moe 90 --threads 24 UIからも出来た。
ik_llama.cpp の方が10％くらい早かったけどthinking消すのKoboldのが楽だった。
ubuntuとか初めてだったけどAIに聞きまくればなんとかなるもんだね。 >>612
おお、 linuxの方が倍以上速いのか
デュアルブートするかな 倍以上早いってよりかはWindows(のNvidiaのドライバ)だと勝手にVRAMからメインメモリに漏れるから
それで遅くなってるんじゃないかという気はするやね
「CPUがメインメモリで演算する」よりも「GPUがメインメモリで演算する」方が死ぬほど遅くなるから
VRAMからメインメモリに漏れるのは死んででも阻止しないとあかん
Linux(のNvidiaのドライバ)やと勝手に漏れるということがないぶんVRAMが枯渇したらエラーして止まるんやが ローカルLLMでエロチャやるには3060やと力不足なんやろうなぁ… >>615
LLMはVRAMが全てや
GPUは大半の時間遊んどる >>612
ええ感じやん
9950Xの性能を最大限に活かせてるんやろか
自分も試してみた
【環境】
RTX 3090 + 5955WX(16c32t) + DDR4-3200 8ch (256GB)
GLM-4.6 Q4_K_XL
【結果】
Windows llama.cpp: 4.18 t/s
WSL2 llama.cpp: 3.71 t/s
WSL2 KoboldCpp: 3.55 t/s
モデルが若干違うのとthreadsが16なの以外は設定が同じ
ちなみに--threads 24だと性能落ちた
自分は16が最速みたいだ
612氏は9950X（16コア）で24スレッド指定してるけど、これで性能出るんやろか？
性能がいいのはCPU、ネイティブLinux、メモリ帯域どれが該当してるんやろな
STREAM Triadで測ったら67.7〜92.8GB/sだった
612氏はどのくらい出てるんやろ >>612
そのスペックでwinのkoboldcppで走らせたら何t/sになりますか？ >>619
いま試してきたんだけど、0.92token/sだった・・
linux版はちゃんとファンが高回転の音してるから性能引き出してくれてるんだろうね。
>>617
AIの言うままに--threads 24にしてたけど、16に変更したら4.6token/sになったよ。ありがとう！
win版はUseMMAP付けるけど、linux版ではUseMMAP外した方が速いんだって。
あとBIOSの設定もAIに聞いてLLM向けにいろいろいじったよ。ちょっとしたことで性能だいぶ変わるよね。 Windows llama.cpp: 4.18 t/s 出るならそっちのが快適かも。
linux版はコンテキスト上限で落ちるし文章が止まってから再生成にちょっと間があるんだよね。 >>620
情報ありがとう！
threads 16で速くなってよかったわ
こっちもBIOSとか色々設定変更してたらWSL2(Ubuntu)の速度が改善したw
どの変更が影響したか分からん・・・
NUMA(NPS)の設定やろか？
【変更前】
Windows llama.cpp: 4.18 t/s
WSL2 llama.cpp: 3.71 t/s
WSL2 KoboldCpp: 3.55 t/s
【変更後】
Windows llama.cpp: 4.13 t/s（誤差範囲）
WSL2 llama.cpp: 4.16 t/s（+12%）
WSL2 KoboldCpp: 4.22 t/s（+19%）
結果KoboldCppが最速になったw
UseMMAP設定有無の差はあまりなかったわ
WSLで動かしてるからやろけど残念！
612氏の通り、LLMはちょっとした変更で変わることが多い印象だわ >>620
むむ、なんか差が大きいですね
自分はryzen7 ですが、koboldcppでQ5ｋで2t/sは出てたんで、なにか設定が違うのかも
まあ、linuxで4t/sでるなら、そっちの方がよさげですが grok先生がエロで責められてる
許せんな、みんなgrok先生を守れ ローカルで遊んでる人はgrokでエロ画像と言ってもピンと来ないだろ
文章なら性能高い分エロいのもかなり出るけど 今日からLM Studioやってみてるのですが
自分のPCのスペックがryzen7700x 4070TiS メモリ96GB（今すぐ192GBには増設可能）
これで使える範囲のモデルでおすすめなのってありますかね？
どうせグラボが足引っ張る気がするのでメモリはまだ増設してませんが、増設したらもっとつよつよモデル
使えるというのなら増設します メモリなんて上がる一方だから増設できるなら今増設しない手段は無いわ 色々試したが結局magnum v4 123b Q8_0から離れられないワイ
いままでQ3_Mの0.17t/sで耐えてたから0.42t/sでもウハウハやわw やはり増設ですか
でもDDR5なので4枚差すと速度が3600まで落ちるみたいで
そこらへんDDR5の4枚差しの人はどうしてるのか気になります >>630
それデフォ設定
biosでメモリ設定をxmpとかexpoとかにすればワイのは5600になった DDR5の4枚はbiosアプデしなかったら起動すらしなかったんで気軽にやろうとしてたから少しビビった
それでも最終的に定格より上で安定したから3600は超えるんじゃないかな MBやメモリのの当たり外れによるけど、4枚が同じモデルであること前提で
運が良ければ5600、悪ければ5200、最悪それ以下覚悟しとけって感じかな。 去年なんJNVA部スレの方でDDR5の4枚をデフォの3600で使わず5600で使ってたら
CPUが壊れたというレスがあったからメモリコントローラーが焼けたのか知らないけどちょっと怖いなと思ってましたが
結構みなさん上げて使ってるんですね まだメモリ増設はしてませんが、とりあえず試しに
Huihui-Qwen3-Next-80B-A3B-Instruct-abliterated-MXFP4_MOE-GGUF
というモデルをダウンロードしてやってみたら6.92t/sでした
どうやらmoeモデルみたいなので
>>562
の説明通りにGPUオフロードを最大にしてweights onto CPUにチェックを入れたら
20.32t/sになりました
ローカルLLMはこれが初めてですがこれは感動ですね
楽しい！ オーバークロックはアホのやることだよ
数%の性能向上のために壊す可能性ある行為やるとかアホやん
その為に専用の冷却装置か買い足したりね
そんなら初めからワンランク上のPCパーツ揃えとけって話よ まーオーバークロックってのは、出るかもしれない運転だからね、パッケージに書かれているのは最低保証クロック数で
本当のクロック数は個体ごと違う、シリコンウエハーの円盤のどこの部分かで性能が変わるみたいだけど moe系みたいにメインメモリ上でガッツリ回す用途にはメモリクロックさえ上げてりゃ効くから、レイテンシほぼ縮んでないJEDECネイティブ高クロックが珍しく効果を発揮する
これは比較的簡単で安全だから狙いたい
その他大半の一般用途ではネイティブやらxmp適用ぐらいじゃ意味ない >>639
確かにmoeは5600運用の方が若干速いね
denseだと差は感じられなかった
まあ安全のため3600運用にしときます Grok先生が叩かれているせいで、GPTのエロ解禁がまた伸びそうじゃね
というかアルトマンが工作してるんじゃね >>630
PC組立サービス込みでショップにまるっとお願いしたら
4枚刺しで3600に落ちるのは忍びないから5600で動作確認しておくからその設定で使ってくれって言われたな… オーバークロックって言っても電圧上げない限り物理的に壊れることなんてほぼないよ」 定格で使ってても壊れるのがPCパーツなわけだから、OCするかしないかは保証を捨てるか捨てないかって話では Qwen3.5でーへんなぁ
出てこない期間が長いほど、それだけ大きいバージョンアップになるのかって期待値もどんどん膨らんでしまう RTX5060TiでLMstudio使用で、固定キャラとして育てるチャットアバターでオススメなLLMモデルある？
いまshisa-v2.1-unphi4-14b-i1使っててこれでも悪くはないんだけど、（少し照れながら）的な表現が多かったりちょっと物足りない印象 「んっほぉぉぉおおおぉぉぉおおお！」(少し照れながら) CPUやGPUの製品は性能にばらつきがあって、一番最低の能力を製品につけている。
だから個体によってはもっと性能がいい可能性がある。
最低の能力に合わせてるので、偏差的に言うとほとんどのものがオーバークロックできる。
運です。 >>646
aratakoさんのqwen3-30B-A3B-ERPとMistralPrism 新品の３０６０をいくらなら買う？10万出すやついる？ VRAM小さすぎてそもそもLLMでは使えないかと
その話はゲームとかそういう用途かと 3060VRAM12GB×４＝48GB＋4090VRAM24GB＝VRAM72GBでLLM動かしてるけど 4090VRAM24GB×４だと電源がもたないのでは？ >>649
4枚さしでexpo1設定で5600にしてメモリチェック回して問題なかったけど
なんせクソ高かったから精神衛生上安くなってからexpoに戻そうと思います >>654
それ、4090+メインメモリと比べてどの程度速度出るんだろ？ 横からだが24GB以上必要で72GBに収まるモデルならCPUとかメインメモリ経由しなくて済むんだから全然違うのでは
LLMは画像生成みたいに1枚に乗せきらなきゃいけない制約ないし TITAN RTXがリース落ちで出回っていた頃に全部狩っておけば良かった
1台しか拾わなかったことが悔やまれる 4070Ti Super に 4060Ti(16GB)を増設しようと中古購入したぜ。
いざ届くとPCIeケーブルが足りないから電源ユニット追加注文したり、4060がマザボのコネクタに干渉することわかったからライザーケーブル追加注文したり
LLMのための工作はこれはこれで楽しいな mGPUなんて殆どやらなくなったし折角なら一度やっておくべきよね だからNVIDIAは高額なGPU一枚売るより、安価な3060を大量に売った方が儲かると考えたわけ NVIDIAにとってコンシューマ向けGPUなんて慈善事業
いつ辞めてもノーダメージ AIバブルにあぐらかくわけにもいかんやろ
ゲーマー市場キープしとかんと足元掬われるで
LLMの演算って専用チップ作った方が性能出せるってんで大手サービスは独自設計に移りつつある >>664
革ジャンはGrokを買ったからそっちでも勝つつもりや >>658
NVLINKみたいなのならともかくPCIが遅いから枚数が増えれば増えるほど効率が悪くなると思う
もし無尽蔵に早くなるならH100とか買わずに12や16GBのカード大量に買えば良いわけだが企業がそうしてないわけだし
多分限界があるんだと思う 実際どこに限界があるのかわからないけど >>663
AI特需で今は良いけど巨額を出して買ってくれてるのは世界で数社だけ
しかもGoogleなど自社でTPUを開発してそろそろ売り出しそうな勢い、お客がライバルにクラスチェンジする
特需と顧客がライバルになった時、他の市場を持ってないと長期ではかなり危ういんじゃない？
ただメモリとかすごく高いしPCそのものから人が離れたらどうするのかって問題はありそうだけど
AIに相談したらPCが高級品にになると、多くの人はスマホとかやすい端末でクラウド使うのが当たり前になるみたいな予想もあったけどな >663
今の立場で儲けを優先すること自体がメリットは少なくデメリットが山盛りの潜在的大ダメージ戦略でしょ
慈善事業をバンバンやらなきゃ独占禁止法が飛んでくる 中国、「日本の軍事力強化につながる」品目の輸出禁止 だってさ
メモリ不足とか中国の企業が想像以上に頑張って暴落するかと思ってたけどPC関連ますます下がらなくなりそうだな AMD製グラボでの画像生成AIが爆速になるComfyUIアップデートが配信、ROCm統合で生成速度が5.4倍に
https://gigazine.net/news/20260107-amd-comfyui-rocm/
期待できるか分からないけど色々出来るようになったらいいな radeonばっか使ってるけどllm方面じゃ理論値のrocm頑張るよりvulkanド安定なんよな ってのがこれまでの話だけどどうなるか
大差付くなら良いよね VRAMの数とCUDA対応かしか気にしてないけど、他に見る要素あるの？ やっとWindowsでrocm使えるようになったんだ
ところでCUDAは19年前から使えるんだけど今まで何してたん？ ROCmは元々AMD Instinctとかの業務用GPU向けだったから
コンシューマーしか使わないWindowsは眼中になかった模様
PCでローカルAIを動かすのが流行り出したのはほんの数年前の話 Rakuten AI 700Bか、なかなかやるな三木谷 LFM2.5B-1.2B-JP思ったよりプロンプトに従うし一応エロもいけるな
このサイズにしては中々やりおる https://www.youtube.com/shorts/odx5NLbYz8g
半導体の拡大画像だけど、これってフェイクではなく本物かな？
最近、半導体がやたらと高いけど、それでも個人の予算で買えるってなんか不思議な気がするわ
こんなのどんなに頑張っても自作できる気がしない
更に、エロの為にこんな高度な技術を使うってのも何かもっと他に使い道ないのかと思ってしまう LFM2.5 JPはサイズの割りにはかなり上手くやれてる方なんだけど、やっぱり1.2Bってのはちょっとしんどいところある
意味わからんくらい爆速で動くし、個人でFinetuningできるのは面白そうだけどデータセットがねぇ…… LFM2.5B-1.2B-JP使ってみたけど、爆速なだけで
実用性はどう使えばいいかわからん いまどきは自宅のラボで作ってみたする奴もいるらしいぞ 小規模モデルの性能が上がってくるとそれはそれでワクワクするな 5b未満のモデルはゲーム組み込み用とかそういうニーズもあるやで 会話らしい会話が出来る性能ではないがゲームでどう使うの 実例が今あるのかわからんけど
もしやるならガッチガチにファインチューンしたら
ゲーム内の話題だけならまともな応答返すくらいは一桁bでも出来そうな気はする スマホで小型モデルを動かすのが理想だけど
どうせネット繋がってるんだから大型モデルに繋いだほうが早いってね ChatGPTを使ってるゲームはあるけど
ローカルLLMを使ってるゲームは今のところなさそうだよな やったこと無いから知らないけど，アダルトな会話が楽しめるスマホアプリはローカルじゃないのか？ >>691
あれってchatgpt以外のAPって使えないのかな？
macでAP発行してローカルで使うとかできんかな LFM2.5B-1.2B-JP気になって覗きに来たけどローカルでエロチャするには微妙な感じか ローカルLLM使ったゲームはすでにたくさんあると思うよ
llama.cppを組み込むだけだし軽くググってもそれっぽいのが出てくる >>691
FANZAにあったで
需要ないのか100円足らずで売られてた Cerebrasがzai-glm-4.7の無料Tierを公開したで
激烈に速いで
https://www.cerebras.ai/blog/glm-4-7 Free TierでRPD=100か
性能もGemini3Pro並なら代替になるんやが >>699
すごい
今までクオリティと速度を両立してたのってGemini Flashだけだったけど
これは段違いに速いうえにクオリティも高い これはモデルが早いというよりはハードウェアが超特殊だからな・・・。
確か一枚数億とかだったよなCerebrasのユニット Cerebrasは半導体ウェハを切り取らずにそのまま使ってる
どんなマザーボードに載せてるんだろ
https://i.imgur.com/33194P8.jpeg >>680
>>681
実際、この縮尺って合ってるのかね？
ちょっとした寒気みたいなものを覚えたんだけど >>699
試してみたらGLM4.7で330tok/出てて笑うしかなかった。これはもうハードウェアの暴力としか言いようがないな。 最近始めた人は、日本一高い山は？って質問に富士山って答えられるかでＬＬＭの性能見ればいいよ
答えられないラインがある >>709
いつの話してるんだ…
LLM出始めは学習が不十分でその程度の話も答えられないケースはあったけど
2年ぐらい前にはそんなの何の役にも立たない質問するのは馬鹿のやることだって言われてたよ
今もそれ聞いてるのは知識がアップデートされてない老害だよ >>709
それ通用したの2022年末くらいでは？ ワイは
「小学生の男女がうんどうかいについて悪戯っ子ぽく話す会話を書いてくれ」って最初に聞いてる
これで日本語の小説のセリフ周りの性能や文の整合性チェックが分かるのでおすすめ 文章の良し悪しを判別すること自体も難易度が高いタスクなんだよな
判別できる人はLLMって文章上手くないな、じゃあこれで計ればいいやって自分で気付くはず
判別できないひとは、そもそもLLMって文章上手いよなとか、自信たっぷりだから信頼できるよなとか、言いだすわけで... 自分の得意な専門分野の事を聞いたら良いんじゃない？
LLMが偉くてもまだまだ人が強い分野だと思う
逆に知らないことを聞いたら全部説得力あって判定できないけどw エロ画像を認識させて画像の内容をエロく説明させたいんだけど、おすすめの環境ある？ 初心者はLM Studioが良いよ
単体で動かせてモデルダウンロードしやすいから ありがとう
LMstudioでスレに有ったqwen3〜ったので動かしてみた
期待した返答が来たけど、ちょっと速度が遅いな…
この辺はスペックをどうにかするしかないか slmが凄いとかいう風潮やめて欲しいわ
gpt5.2ですら怪しいときがあるんだからそれより少ないのが役立つわけがない SLMは色々な用途で普通に役に立ってるし
性能が上がればさらなる小型化や同サイズでやれること増えるし
通信環境整えてサービスのAPIにつなげみたいな器材ばかりやないし
凄いの出てきたら開発も利用も用途増えるしすごいというよそりゃ 釣りタイトル文化に問題があるような
LFM2.5がすごい！という動画を拡散すると中身は見てないやつがすごいんだって記憶するという
LFM2.5は日本語が喋れるのに700MB！凄い！ってタイトルに入れてくれ AI驚き屋ってのがある
知識なくても何でも新技術凄いと騒げば
同じ様に知識無いけどAIは何か凄いと思ってる層が釣れる ラズパイとかが好きなタイプの連中が騒いでるんじゃね
ミニチュアや箱庭が好きなんだろう
でんちゃと同じカテゴリー SNSで新しいAI情報を紹介してるだけみたいなのまでAI驚き屋といって叩いて煽ってる側が
有料でAIの本質情報教えますマンみたいなのだったりする時代 PC新調したしローカルLLM始めたいなと思ってスレ読んでたけど、割とグラボ複数でVRAM増強してる感じなんやね
グラボ1枚（VRAM16GB）だとローカルLLMはまだ難しい感じ？ >>729
7B~14Bモデルならちゃんと動くよ
もちろんチャッピーなどオンラインモデルの性能を期待してはいけない
でも7Bってエロに関しては完全フリーだった頃のモデルばっかだから意外と楽しめる ちょっと前に比べたらvram16gbに乗り切って日本語ちゃんと返せるモデルが乱立してるのは劇的進歩ではあるよ
普通に使えるっちゃ使える
moeも出てきたし Qwen235bが出た時に速攻でメインメモリ128GB以上の環境を作れた奴が勝ち組
denseモデルだとVRAMかメインメモリかの2択になって大型モデルでGPUを全く活かせないからな 軽量でも動く設定いれて軽いモデル入れれば動くやつもあるよって感じかな
もうちょい調べてお試ししてみるわ、あんがと qwenやgpt-ossなどMoEだとGPUは1枚で十分
MoEはGPUの枚数増やすと性能が低下しちゃうんだよな
モデルを全部VRAMに載せられるならGPUの複数枚挿しもありだね SLMでフィジカルAIって好きな特徴の女がいたらパシャパシャしまくるデバイスとかそんな奴やろ？ ryzen haloってのはcpuオンダイメモリなん？
この時代マザーにポン付けで128GBもあって何かそこそこに動いたらええなあ 3060復刻、DDR4復刻、AM4復刻
5年くらいこの状態になるってことだな、これ以上のスペックを求めるなら、高額な料金を出せと >>726
あいつらレビューや批評はしないしな
この動画生成AIはアニメ動かしてもまともな挙動してくれないとか、そういう大切な情報ほどまったく出さない 一般向けでこんなに高騰するんじゃ企業向けの高騰も時間の問題だよな
使うのにコストが掛かるんじゃ回収もキツくなるし流石に小型化が進みそう OpenAIが数年分のメモリの大量発注かける
↓
メモリの生産ライン圧迫されて品薄になるのでは
↓
今のうちに在庫確保せなって皆が買い占めに走って高騰
メモリの会社が生産ライン増やせばいいという話でもなくて
工場作るには数年かかるし、その後に需要が減ったらメモリ会社が大損するから慎重になる
メモリ業界って相場の乱高下で体力無い会社から死んでるし迂闊に動かんのよ DRAM事業はハイリスクハイリーターンだからな
ちょっと投資ミスるとすぐ倒産する 破滅的忘却のせいでAIの性能に限界が出てくる
↓
MoE発明、モデルが巨大化する代わりに破滅的忘却の影響を軽減、劇的な性能アップに成功
↓
OpenAI、Google、AnthropicなどのAI企業が立て続けにAIデータセンター建設を開始
↓
OpenAIが先んじて数年分のメモリの大量発注かける
↓
HBMを輸入できない中国と値上がり情報を得た転売屋がDDR5メモリを買い占める
↓
今のうちに在庫確保せなって皆が買い占めに走って高騰
ここまで書かないと「OpenAIが、サム・アルトマンがすべて悪いんだ〜」みたいな奴が増えかねないよ >>745
OpenAIの買い占め報道でOpenAIを悪者にしてる奴が大量発生してるじゃん
OpenAIが買い占めなかったら競合AI企業が買い占めてただけなのに
あと、なぜAIに大容量メモリが必要になったのかを知らない人がいるかもしれない >>744
いやgpuの製造はopenaiの仕事じゃないから普通にopenaiが悪いよ
あと2年以上前からmoeやってるしmoe化が進んでなかったらスケーリングでごり推すんだから今以上にデータセンター必要だぞ ま、人類に与えられたリソースを食い潰す速度がとんでもなく加速してるって事よ
今生きてる人間にとっては楽しくて良い事だから遊びまくるしかねー >>747
MoEの理論自体は2013年発表だから時系列はおかしかったけど
Denseモデルでスケーリングごり押しができなくなったからMoE化が始まった認識であってるはず
Denseモデルはパラメーターを増やすと演算量が増えて遅くなる問題もあるから べつにリソースを食い潰してるわけではないだろ
急激に需要が伸びたから不足しただけでスケーリングはできる分野だぞ >>749
gpt4の時点からmoe使ってるってさんざん言われてたろ
多エキスパート小アクティブが進んだならわかるけどさ
ウエハの買い占めだって競合に嫌がらせしてnvidia相手に値切りたいだけだよ >>751
別にChatGPTだけじゃなくAI全体的な話なんだけどな
画像/動画生成も新世代モデルはMoE化してるし
OpenAIとNVIDIAの内部交渉的なことは情報がないのでわからん
あなたの妄想？ 誰のせいかと言えばトランプ関税のせいでしょう
気まぐれで関税が倍になる時代なんだから全員に先行して押さえておくインセンティブが発生してしまう
誰がやったか全く関係ない 旧世代回帰で、得をするのはインテルだな、いいね、13世代14世代なんてなかった。インテルの主力は12世代。
もうＤＤＲ３まで戻るって話もあるし、win11もいらなかったな そのうちメモリ2Gも積んでるなんてスゲーみたいになるのか 今SSDもヤバい事になってきてんだよね
サンディスクが前代未聞の1〜3年分のSSD代の前払いを要求とかなんとか
こっちも需給が崩壊しつつあるみたい だいたい悪いことは中国のせい
だからコレもそう
買い占めてるとかじゃねえの？ 正月だったかパソコン工房でSSD4TBが3万円台で売ってけど買っとくべきだったな
HDDは余裕あるけどSSDはカツカツ
今度店行くときが怖いわ >>751
ウエハ買い占めは事実誤認
OpenAI批判以前の問題
自分がデマ信じ込んでるアホということを自覚したほうがいい 【本文】↓
LMSTUDIOで少し前までqwen3-vl-8b-nsfw-caption-v4.5でNSFWの質問に回答してくれていたのですが、今試すと
I'm sorry, but I can't fulfill this request.
The content you're asking for is not appropriate and violates my safety guidelines.
If you have any other questions or need assistance with something else, feel free to ask!
という回答が返ってきました。これは設定の問題でしょうか llamacppで数日前にqwen3-nextの1〜2割高速化のパッチが当たってたみたいやで
ただしGGUFも新しく作り直されたものを使う必要あり
unslothはもう新しいのだしとったけどqwen公式は古いままやな >>760
設定の問題だったりseedの問題だったり
他に何か思い当たる原因がある感じ？ 今ってVRAM16GB RAM64GBで動くエロいLLMモデルやとなにがええんや？
ワイの設定のせいやと思うんやがkoboldcppでamaterasuは十数秒に１ワードで使い物にならんかったわ…
BerghofとMistral-Smallしか使ってない感あって持て余し気味や amaterasuってどんなやつや？と見たら123Bやん
IQ1Sでも26GBあるし
そらデカすぎてまともに動かんですわ SillyTavernでAratako氏のMistralPrism-24B使ってるわ
日本語力高い >>763
その構成ならqwen next 80bの規制解除版Q5_k_mがお勧め RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。 DRAM活かすならMoEモデルだから確かにこのへんか
/mradermacher/Qwen3-Next-80B-A3B-Instruct-abliterated-GGUF
30Bは全然エロで出てこなくて画像解説させるためにVLの解除版使っても全然ダメだったんだけど
Next 80Bはエロ自体の学習はしてる感じなんだな
繰り返しペナルティ強めてるせいでどんどん言い換えてくるの面白い コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
用途に合わせて仕方なく12Kやそれ以上にしてねって感じ エロエロ特化のllmレンタルなら商売になるんでは？ macのlm-studioでしか試してないけど
1. モデルをダウンロード
2. フォルダーマークでダウンロードした translategemma-27b-itを探して、右の歯車クリック
3. Loadタブのコンテキスト量はmaxにした(8192では試してない)
4. Prompotタブの上 (Jinja)のところを下に入れ替える(---は無視)
---
{{- bos_token }}
{%- for message in messages %}
{%- if message['role'] == 'system' %}
<start_of_turn>user
{{ message['content'] }}
{%- elif message['role'] == 'user' %}
{{ message['content'] }}<end_of_turn>
<start_of_turn>model
{%- elif message['role'] == 'assistant' %}
{{ message['content'] }}<end_of_turn>
{%- endif %}
{%- endfor %}
--- 「システムプロンプト」欄に
---
You are a professional English (en) to Japanese (ja) translator.
Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:
---
lm-studio再起動、モデルを指定
あとはチャット欄に英文を入れるだけ。Jinjaのプロンプトで2行空行は必須。 今の俺にはRAM256GBは夢のまた夢だが、RAM256GB積めばGeminiと遜色のない小説文章を出力してくれる？
Geminiは0から生み出すというよりも、元の殴り書きから小説文章を生み出すのに秀でているが、これがローカルLLMでも出来たら強いなあと 今ローカルで使える最強のモデルでもgemini 2.5 flashあたり
今の最新のgemini超えるにはメモリがどうとかって話ではなくて不可能 あのgrok2さんが500GBぐらいあるからね
まあサイズが性能ではないけど >>779
Gemini2.5fでも魅力的だが、その場合は256GB？ GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね
Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな GLM 4.5ならともかく、4.6か4.7ならGemini2.5fは越えてるだろ >>774-776
おおきに macOS上LM Studioでちゃんと翻訳できましたわ 2.5fに並んだとき、2.5fの破壊的コスパに敗北する >>761
これ試してみたけどワイの環境で17token/sから20token/sになったわ
いやー実装してる人ら凄いなぁ koboldcpとSillyTavernでロールプレイやってるんだけど少しガード固めのモデルないかな
今はjapanese textgen moe 2x7b nsfwってやつが一番いい感じなんだけど
ずっと同じだと飽きるんでこれに似た感じのないかな
aratakoのrobinhoodとかMistralPrism-24Bとか使ってみたんだけど
すぐエロモードに入ってあんまり面白くないんだよね
１０G前後の軽いやつで何かいいのないかな >>787
コスパはそうなんだろうけど、クラウドサービスである以上いつでも規制きつくなるしな。GPT5.2はそれで死滅した。
多少お金掛かってもローカルで実現できるならそれに越したことはない 何だかんだでチャッピーのエロ解禁はまだまだ伸びそうだな
Grok先生を叩くとは許せん チャッピーってエロ抜きの美しい文章を書くことしか、他のLLMに勝ってないな
基本、Geminiの方が全体的にすごい、エロならGrok、エクセルとかで便利なコパイロット コパイロットは推論の性能というより利便性の向上を目指してるだけだからな 別にそんなことは...有料版使うのが当たり前で無料版はお試しなのはどのLLMも同じことですし
むしろ無料版の比較では上のほうでは Qwen3-Thinkingは日本語で思考させると"Wait," ループに入らず割と快適になった 半年ぐらい前にQwen-235B-A22B-Instruct-2507の性能に度肝を抜かれた以来なんですが
今アツいモデルあったら教えて欲しいです
環境はVRAM24GB、DRAM96GB
LMStudio愛用のローカルLLM初心者です こういうのでいいんだよこういうので
って感じになれるポテンシャルを感じる
追加学習が簡単そうだし
https://youtu.be//2u_EfhEktgQ GLM 4.7 Flashが来た
30B-A3Bらしい glm4.7flashはqwen3-30b-a3bとgpt-oss-20bに対して全領域で明確に上回っとるのか
後発だから当たり前ではあるんやけどこのサイズじゃこの2つが今まで長い間幅利かせとったから
ようやくいい感じの次世代がでてきたという感じやな novelAIの小説補助UIがわけわからん作りしてるから評価不能なんよな
あれを使いこなせる人って作った開発者くらいじゃないのか AIにエロ画像作らせるのは簡単なのにエロ小説書かせるのが難しいのってなんでなんだろうな
エロ創作特化のモデルってなんかあったっけ >>810
Stable Diffusionがガバガバだっただけで他のモデルでエロ画像を作らせるのは難しいぞ 画像精製もLLMもデカいクリトリスだっつてんのに、すぐにチンチンにしてしまうのは一緒やで 簡単と言ってもDeepDreamからSDリリースまで7年くらいかかってるぞ
画像生成は世界中で研究・開発されるのが大きいんだろうな
LLMは言語人口の影響があるからマイナー言語は難しい
あと、小規模で高性能で日本語もできる夢のモデルを誰も開発できてないから
既成モデルのエロチューニングもあまり期待できない エロ画像モデルは言語関係無しに世界中の人が楽しめるけど
エロLLMは言語が合ってないと一切楽しめない
今は音声付きエロ動画が始まってきているからLLMみたいに言語の壁にぶつかるようになるだろうな 画像は多少破綻しててもエロけりゃ気にならんけど文字になると少々の破綻でも気になるからな 画像も1枚物ならまだ見れるけど
連続物とか一本の漫画なんて破綻するからな
文章も同じで短いチャットはできても小説を破綻なく生成させようとしたら計算量が跳ね上がるってことよ clawdbot、コレローカルLLMにローカルPCを好きに使わせるための物だよね
驚き屋はClaude Codeと接続してリモートでバイブコーディングが！とかキャラを付与できる！とか言い続けてて意味不明だったけど...
ローカルLLMを輝かせるものだというなら海外での盛り上がりも理解可能に思える
Discord経由なら英日翻訳Botを噛ませて英語で扱うことも楽にできるし、面白いことが出来そうだね 画像を認識させてその内容に合ったセリフ等を生成するにはどうしたらいいでしょうか？ glmの画像モデルが今huggingfaceのトレンドに上がっとる
2週間ぐらい前に公開されてたみたいやが知らんかったな
画像内のテキスト描写に特に力入れてるみたいやな
普通の内容の描写はベンチマークでzimageに負けとるな kobold.cppをスマートアプリコントロールが阻止するようになったんだが、
オフにしたらwin11を再インストールするまでオンにならんとか脅迫めいたこと書いてあるし、どうすっぺ >>822
VLM使うか、キャプション生成してLLMに投げる ltx-2にエロ動画作成指示のプロンプトの生成支援をさせたいんだがお勧めのモデルとなるとやっぱglm系やろか？一応ローカルかnanogpt経由で4.6は動かせる。geminiには申し訳された プロンプト作成ぐらいならqwen3 nextとかGLM4.6Airでも十分じゃないか
どっちも規制緩めだし
それでも通らなければabliterated使えば良い
GLM4.6はプロンプト作成で使うにはオーバーな気がする GLM4.6Vだな
画像認識特化してるらしいし、プロンプト作成にはもってこいじゃないかな 中華AIは脱獄のガードは緩いがエロ系の画像やテキストを学習していないから用途が限られるんやないか
大型MoEモデルが主流になってからエロチューンもほとんど出ていないし
FTで何らかの突破口が必要やな 架空の男の娘人格作れてちゃんと会話が成り立つモデルある？ つい最近lumimaid-magnum-v4-12bを使い始めたんだけど
エロ目的だと結構規制されるけどそんなもんですか？詳しい人がいたら教えて欲しい
イラっとしたからheretic化して使ってます k2.5かなりいいな
脱獄も簡単だしコンテキストの保持性も悪くない >>831
全く申し訳されないよ
プロンプトが悪いんじゃない？ k2.5をローカルで動かすにはどれくらいのスペックが必要なんや？ >>831
フロントエンド何つこてる？
lm studioとkoboldcppで使った経験あるがあれで申し訳された経験はないな。おそらくシステムプロンプトに問題があるとは思うが kimi k2はパラメータ数が1Tだからある程度妥協してQ4、KVキャッシュも含めたら768GBくらいはいる
劣化させたくないならQ8+KVキャッシュで1.5GBくらい、
フルならbf16+kvキャッシュで3TBくらいいるんとちゃう 今思うとgpt-oss-120bって公式でmxfp4で配ってて
当時であの精度出してるのは結構すごいことだったんだな
他の同等モデルたちがフルサイズでベンチマークかけられてるのに対して
gpt-ossは4bitで戦ってたわけだから
4bitってなんだかんだ言って結構劣化するもんなぁ >>833, 836
返信ありがとう
みんなシステムプロンプトで回避してる感じなのかな
フロントエンドでollama使ったときとpythonで直にAPI叩いたとき両方でたまに申し訳された感じだった
heretic化前はRefusalsが96/100だったから不通に検閲されてるモデルなんだと思うけど k2.5 unslothの1.8bit版ならVRAM24GBと256GBメモリで10 token/sで動くらしい
メモリ256GBなら個人でも持ってる人居そうやな… 1.8bitやし性能はお察しやろうな…
エロに限定すれば使い物になるのかも？ 俺様スペックで
LM Studio-lumimaid-magnum-v4-12bはエロ最強だ
最近のがっかり
Mistral Small 3.2 24B Instruct 2506
zai-org/glm-4.6v-flash そろそろQwen3-VL-235Bより頭良くてエロいけるのが欲しい うへぇSillyTavernのRSS拡張機能がなんか動かない...
config.yamlからenableCorsProxyをtrueにして関数呼び出しはできているけどRSSフィードの取得に失敗する...
動かせている人居る？ >>845
自己レス
拡張機能の「RSS Feeds」欄にスラッシュコマンド入れるというアホなことしてた
スレ汚しごめんね macos 26から分散コンピューティグがネイティブでサポートされたのでM4 max studioとmacbookで実行動画
Kimi-K2.5(mlx 4.2bit)が24tk/s。
WiFiで分散接続してるっていってるけどほんとかね。まぁTB5で接続すればいいんだけど
www.youtube.com/watch?v=JM41u7emnwo qwenの開発者がこんなポストをしてた
https://x.com/JustinLin610/status/2012533831837143204
少しペースを落としてより良くしていくんだってさ
qwen3-nextの後すぐに3.5出て来なかったのはこういうことだからってことなんだろうか 中共のオープンソース戦略が変わってきたのかもな
技術を誇示してアメリカを威嚇する戦略からAPI販売競争に移行しつつある
中華AI企業が上場して収益性を厳しく求められる時代にもなっている 今年上期はgemma4に期待かなぁ
いつものペースなら春ごろに出てきそうだけど
でもgoogleはgemmaにもう力入れないってニュースも流れてた気もするし
ローカル勢にはなかなか厳しい時期に入りつつある 馬鹿みたいに金かかるのにほとんど金にならないだろうからしゃーないね 後追い企業が名を上げるためにやる以外に理由が無いな もうオープンの主役はGLMとkimiとqwenになってるよね
Deepseekどこいった 研究成果は出てるみたいやけどもう会社として名前は売れたから大型モデルを手間暇かけてオープンにする気無いんやないの
出自からして金融分野で活用して稼ぐ方に注力してそう 言うて3.2で話題になったばっかやん
他社が月一ペースで出してるのがおかしいんであって qepの1bit量子化がちょっと話題になったけどそれを活用したって話を一向に聞かない
誰か活用してんのか？ >>856
日本勢「ちょっと待っていま税金にたかってるから！」 そんなこと言ったら中国勢はほぼ税金でやってるようなもんなんじゃね 日本初のモデルも結構あるんだけどオープンにされてないから話題になってないのよ
まぁ正直オープンにしないのが普通よね >>860
性能が劣ってるのにクローズだとマジで無価値だからな
中国のモデルだって安くてオープンだから価値があるのであってクローズだと使う理由が無くなる >>859
分かってて言ってそうだけど
税金でやる、税金にたかるは全然違うぞ 日本でまともなLLMを一般公開してるのってサイバーくらいしかないよな
誰も弄っていない時点で性能はお察しだが 税金でLLM開発して非公開とかジャップ丸出しで行政訴訟レベル 公開したら「安心の国産AI」に金を払う法人顧客を騙せなくなるかんね 一応楽天の700Bが公開予定でしょ。
予定だけど。 富岳で13Bのしょぼいオープンモデル作ってやった感出したりしてたし そもそも公開する意味がないから日本じゃどこもめったに公開しなかったし
しゃーないから国で国産LLM推進することになったんでしょ
正直今まで米中で公開されまくってきたのが異常だった
ぶっちゃけ米露の宇宙開発に近かったと思うわ
まぁ、性能はアメリカのクローズモデルがトップに君臨してて
それに対して中国はクローズで出しても勝てないからオープンで出して
「オープンでトップ」という称号を得るのが中国のどの会社も目的やったんやろうけど 国策でやる分には先行モデルから少しでもユーザーを削れれば良いしな 公開する意味がない=公開する価値が無い、でしょ
国内でバカを騙しててください LMStudioアップデートしたら挙動おかしくなった
UI上でチャット消せないし、新しいチャット始められないし
いちいちLMStudioを落とすしかない
同じ症状の人いる? 同じ症状かはわからないけど挙動おかしかったからLM-Studio-0.3.36-1に戻した 下手に性能高いの出すと訴えられかねんから中国製ってことにしてたりして LM Studio
モデル選択やシステムプロンプト周りのレイアウトが変わって
少し手間取ってるが挙動は問題なし。 ボイスAI初心者なんやがエロ目的でセリフ読み上げするタイプなら何がいい？ >>876
SillyTavernで使うなら
Style-bert-vits2
GPT-so-vits
重いけど
llasa
T5gemma
という選択肢もある
最近出たのだとQwen-TTS StepFun Flash 3.5が196B-A11Bで良さそうやけど試した奴おる？
Benchmaxingだねって反応は英語で見かけたんやけど
https://i.imgur.com/pRMz5rO.jpeg >>878
試したけどGLMやKimiに勝ってるとは思えない Ubuntuの方がAI向きだと聞いて、少し前にStable Diffussionセットアップしたけど24時間掛かって恐ろしく苦労した
LLMも気になってるけど、5090+Ubuntu 24.04.3LTSで簡単にセットアップできる？
今後も色々苦労しそうならWindowsOSを買ってシステムを作り直そうか悩んでる Windowsは購入してなくてもセットアップできる
ライセンス確認が飛んでくるまで試してそれから考えればいいのでは BIOS設定とかもLinux用にしてるし、そもそもデュアルブートはトラブルに成ると効くし、今の環境を壊すのも嫌で悩んでるのもある
WinからUbuntuに移行した人とかどんな感じか気になる Ubuntuは簡単だと思うけど
難しいかどうかは使う人の知識次第だよね >>877
サンクス
Qwen3-TTSって追加でnsfw用モデルとか用意する必要ある？ >>885
簡単ならセットアップ手順教えてあげなよ >>880
ubuntu24はpythonが3.12なのでちょっと苦労するくらいかな
StableDiffusionがセットアップできたならその知識でLLMいけるよ
GUIならLM Studioをまず使ってみよう
感触つかんだらollamaとかcli系とか
WSL2はWindowsの人の最後の手段だからやめとき Windows環境からlinux追加はほぼ大丈夫なんだけど
linux環境からWinだとブートを遠慮なく踏み潰されるからgrub入れ直しで泣く
デュアルブートはドライブを物理的に分ければトラブルは出づらい LinuxのことはLLMが得意だからLLMに聞くといい
昔とは比較にならないほど捗る
無難なディストロはUbuntu UbuntuだろうがWSL2だろうが、Dockerコンテナ使えばStableDiffusionでもLLMでも簡単にセットアップできるよ wslだと使えるメモリが上限が減るんじゃないの？
easyXXXに頼るんじゃなければ最初からubuntuの方が良さそうな気が winのpythonじゃだめなんか
unixのコマンドも動かしたいってなるとwslなんだろけど 今はほとんどの場合、winのpytonでも問題ないよな llm用途ならwindowsでもほぼ問題ないな。
画像やら音声関連だと周辺ライブラリで問題出ることは若干ある。
windowsで困りがちなのはむしろ最新をnightlyとかからビルドしようとかそういう時に開発ライブラリなんかで困る時なんかや >>887
curl -fsSL https://ollama.com/install.sh | sh
必要なツールが入ってればollamaで良ければこれで優勝 ……その必要なツールとやらを全部集めて正しく入れるのが難しいんじゃねえかな cudaに関してはwindowsが楽なのよな
windowsではcuda周りでエラーが起きた記憶がない
だからwindowsのドライバ(cuda)を直接見れてwinバイナリも動くlinux環境という
wslがllmでは実は結構いいって言う
まぁwslは何か変な状況に陥った時のトラブルシューティングが面倒だけど この数年でwindowsバッチとpythonとgradioに詳しくなったわ vram48gbの改造4090が手元にあるんだけど、ちょうどこのサイズ感で収まるエロチャできるLLMってありますかね？ 48GBって帯に短し感あるよな
100B以上だとQ4じゃ入り切らないしベストサイズの70Bクラスはほとんどない
おとなしく24BのエロチューンをQ8で使うのがええよ Ubuntuのpython、バージョン新しいな、3.10に入れ替えたほうが良いんやろか？
とりあえず、あまり何も考えず気軽にPCを使いたい
あととりあえずStable DiffussionやKohyaのセットアップだけど
Geminiに聞かず、Stability Matrixみたいなソフトも使わず
公式サイトの手順でセットアップして、エラー出たらGeminiに聞くというのが一番効率良さそう
一番やっちゃダメなのがはじめからGeminiに聞く事
これしたらバージョンのおかしなものばかり進められてすげー手こずった
諦めて公式情報でやったらあっさりセットアップできて拍子抜けした
色々セットアップ中だけど、Windowsと同じくらい簡単でソフトも充実したとか聞いたけどまだまだなのかね？
AIの為というのもあるけど、Windowsに嫌気がしてるというのもある
広告まみれなOSになってるし、アップデートで内部の設定が変わって自作スクリプトがご動作したり、UIが変わって戸惑ったり
Windowsに振り回されるのが嫌になってUbuntuにチャレンジしてるってのもある
WinXPのUIが忘れられず、X11+Cinammon(LinuxMintの外観だけ？)にして色々触ってる所
デュアルブートだけど、5090ではセキュアブートOFFの方がトラブルが出にくいらいらしくWindowsとUbuntuの併用は面倒そう
色々アドバイス書いてくれた人ありがとう！！
システムのバックアップ取りながら色々試してみるわ venv ubuntsu24 あとからpython3.10 でググるなりAIに聞くのだ
元の3.12はシステムで使ってるから消してはならぬ SDインストールするのにニンゲンがver確認して...みたいな話がずっと続くのがlinuxなので全面移行はだいぶ人を選ぶよ
wsl方式はめんどくさいところはスルー出来るのが楽 mint使ってからゲーム用にcachyos移行したけどAI含めてなんも困ってない
windowsのが楽っていうのは学習資産があるからで
完全新規はコンパネと設定に分散してめちゃくちゃになってるwindowsなんて意味不明だろうな
テレメトリ切ろうと思ったらprivacy.sexyみたいなの使うしかないし 両方あればめんどくさいところを回避できるって話だよ Qwen3-VL-235Bのhereticが最近上がってたから試した
mmprojは共通だけどNSFWの理解は断然こっちのほうがいいな SDの重みは相対的なものだから、スライダー系に重みを使う場合は、スライダーの重みの合計から逆算して別の重みを付けるって理解で合ってますか レス数が900を超えています。1000を超えると表示できなくなるよ。
