なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>62
ありがとう今こんなのあるのか
ちょっと試してみるわ >>76
ロールプレイって音声入力＆出力でやってんの？
キーボードかたかたやって会話しても盛り上がらんだろうし 文章だけのチャットでも楽しいぞ
5chやXとかでレスバで盛り上がってる奴らがいるだろ？
あれぐらいヒートアップ出来るのが文章チャットだ >>78
世代じゃなかったらピンとこんかも知れんけどボイチャが当たり前になる前のオンゲはみんなチャットで熱中してたんやで
LLM出力はTTSで声出しさせてるけどこっちは手打ちや >>80
んーじゃあその頃は>>76みたいにチャットの応答に５秒かかったらアウトだったってこと？
ちょっと想像できないけど >>82
一度に長文を打たずにサクサクやり取りしていくスタイルが好まれてたなー
LINEとかでもそうでしょ？お互い向き合ってチャットしてる時はテンポが大事 ここ1週間ロールプレイのためにいろいろやってみたが、実際ちょい日本語やこんなの言わんやろみたいなのあると萎えるな、70B q4のモデル使てるけど設定詰めたら完璧になるんやろか…
いまのとこ環境作り切った時が一番楽しかった気がするわw 5秒以内の応答を求めるのは対人でも仕事趣味どっちでも結構怖い人だと思っちゃうな
内容次第だとは思うけどそんなすぐ返答出来なかったり細切れにして何度も送るほうが厄介なケースの方が多そう
ここまで書いててAIとのRPでも内容によって応答速度変えられたら面白そうだよね
短文であっても言いづらかったり熟考した末の発言ならわざとディレイをかけるみたいな感じ
その判断に余計なリソース使うし実際にはそう簡単にはいかないんだろうけど上手く行けば人間味みたいなのは出そう チャットの設定ってテンプレとかあるの？JKテンプレとか LLMとStable Diffusion両方やるといろいろ勉強になるな、
Stable Diffusionはdanboru語＋LoRAの文化がすさまじいな
本日の発見は、ロングヘアを舞い上がらせるには、floating hairというdanboru語を使い、floating hairのLoRAも使う
hair spread outというdanboru語もあるけど、弱い。floating hairの方が強い >>86
いや人との会話とLLM使ったロールプレイのを一緒にしないで🥺
オンゲのチャットだって打つの遅い人とかまとめて打つ人のやり取りだって普通にやるで
ただ、何か別のことでもしながら返事待ってるかなーってテンションになるだけや
それがLLMとのロールプレイの場合、別にもうええかー…ってテンションになるだけや 打ち間違いかと思ってたけど一応danbooruな
この辺適当だとpublic hairお化けになっちゃうぞ 爆速エロチャットじゃなきゃイヤって奴にはGrokに課金しとけとしか言いようがないわ ようやっとQwen Next対応がllamacppにマージされた
まだバイナリはできてないけどb7186が出てきｂｽらそれが多分QwenNext対応版になると思うで
長かったなぁ
ほんまに2か月半かかったな 言ってた通り専門のプロがフルタイムで取り組んだってことか！？ LLMに詳しい人ではあったみたいやが、QwenNextの仕組み(ハイブリッドモデル)については今回を機に勉強しながらって人やったみたい
でも途中からLlamacppの創設者のggerganovとか他の中心メンバーも出張ってきて
実装についてかなり綿密にやりとりしとったから、ほぼ専門のプロがフルタイムで取り組んだに近いと思う ロールプレイならAratako氏のモデルとか多々あるけど、NSFW向けの日本語小説地の文に強いモデルってありますか？
自分でも色々ダウンロードして試してきたけど、もしかしたら2024年リリースのモデルは見逃しているのかもしれない・・・ 普通のゲーミングPCだとshisa-v2-mistral-small-24b.i1が個人的に未だトップ
エロは無指定だと官能小説になりがちだから語彙を事前に指定する
ロールプレイもどっちもいける エロ小説の精度はamaterasuとmagnum123bで甲乙つけがたいが
若干amaterasuの方が規制が取り切れてない感がある
ワイの独断偏見やが qwen nextのiq4を4090 + メモリ64GBで動かして16token/sだった
オプションは --context 131072 --n-gpu-layers 100 --n-cpu-moe 37
最適化がまだ完全に終わってないだろうからもうちょい早くなるであろうことを考えると十分やなぁこれ
contextは256kまで行けるみたいやけどとりあえず128kで動かしちゃったからこれで試してる >>101
fastllmの方でrtx3060ｘ2で20tok/s出てたからまだ伸び代はあると思うで qwen3_next_80b_a3b_instruct-iq4_nl.ggufは全然規制ないな
何でもできる >>52
PCでいうとwin95のころ スマホだとiPhone3GSくらいの勢いを感じるな
落ち着いたらつまんなくなると思う！ >>103
マジ？
バニラモデルなのに規制ないの？
あのQwenが？？( ﾟдﾟ) 規制なくても学習量は少なそうだなという印象は受ける でも一般向け内容だと実際100b以上クラスの知的さは感じるわ
Qwen3.5待ち遠しいなぁ ロールプレイに向く70B awq int4のモデルってある？llama3.1 70b instruct awq int4がギリッギリ動くから似たようないいモデルないかなと探してるんだけどなかなか。 Wannabeの作者ここ見てるか知らんけど応援してるで Qwen-next-80B-A3B使ってみたけど確かに規制は緩いな
VRAM12GB+VRAM64GB環境だと5〜7tok/sが限界かな
あと文章が冗長になりがちな印象がある 5070tiと128GBでunslothのQwen3-Next-80B-A3B-Instruct-Q8試してみたけど爆速やん
文章は確かに冗長な感じするからここは調整必要そうやな
規制の有無ってどんな指示出せばわかるん？Qwen3って初っ端は無理でも適当に会話のラリー続ければ最初は拒否られた指示でも通ることあるからようわからんわ >>110
VRAM合計７６Gもあるんか、すげーな Qwen3-next先乗り勢はcliのlammacppでやっとるん？あるいはlm studioもう対応した？ llama.cppをopenwebUIに繋いで試しとるよ >>113
koboldも対応してたで
しかし、80Bとは思えんほど速いな
小説精度はmagnum123bには劣るが 「これ以上されたら壊れちゃう♥」みたいな展開で更に限界超えて攻め続けたら「あああああああああああああああああ」って出力が止まらなくなって草
ロールプレイじゃなくて本当に壊れてどうすんねん >>115
サンクス、こっちもkoboldcppで試してみた。
まだfastllmにtok/sで負けてる(rtx3060ｘ2で8tok/s前後)けどまあ十分速いっちゃ速い。
尻用のキャラカード読ませて標準webから試してみたけどこれ本当にqwen？って思うぐらいにエロには寛容やね >>111
正味のとこ何tok/sくらい行くか教えて欲しい、できたらコンテキスト長も >>111
エロ小説書かせたら即申し訳喰らうけど
ある日 とかに修正すればノリノリで書き始める
規制きついモデルだと書き始めても内容が健全よりになってくけど
これは普通にエロ展開にしてくれるので緩いっちゃん緩いんかな
ただセリフの整合性が7bモデル並みなんだよなぁ >>120
確かだいたい15tok/s前後だった気がする
ほぼUnslothの解説ページから持ってきただけやが実行時のコマンドも置いとくやで
llama-server \
--model /Qwen3-Next-80B-A3B-Instruct-Q8_0-00001-of-00002.gguf --alias "unsloth/Qwen3-Next-80B-A3B-Instruct" --jinja -ngl 99 --threads -1 --ctx-size 32684 \
--temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0 -ot ".ffn_.*_exps.=CPU"
>>121
試しにインピオ小説書かせてみたら235Bだと一発目は拒否られてたのがnextは内容はともかく拒否られんかったわ
けどセリフの整合性っていうか全体のクオリティは低く感じるな235Bのときは時々だけど「そうそうそれ！！」ってのがあったけどnextはほぼ無い
エロ小説とかエロRP向けにファインチューン出来ればとんでもなく化けそう >>122
120ですありがとう
流石にコンテキスト100000超えとかになるとそんなペラペラとは喋ってくれなそうな感じかな
でもオフロードしててもそんくらい出るなら確かに魅力的 エロいけるけど率先して使う意味も無さ気な性能なのか ただ可能性は感じるので今後ファインチューニングモデルが出ると化ける可能性は大いにあると思う。 ministral3 8Bが来るらしいね
baseモデルもあって微調整しやすそうだしnemoの後継になることを期待してる >>126
こういうのでいいんだよこういうので
って感じになれるポテンシャルを感じる
追加学習が簡単そうだし >>128
まじかlargeを公開するのは予想外 じゃあopenrouterのBert-Nebulon Alphaはこいつなのかな
アーキテクチャ自体はdeepseekの改良版っぽいがMoEでmistral medium以上の性能だと考えると300Bは超えそう >>128
マ？
middleすっとばしていきなりlarge公開？？ >>131
extのデモ試したがいい感じやな
specialeってのは何が違うんだろ？こっちはデモないが ｖ3.2かぁ
無印がgpt5と同等、specialeがgemini3proと同等って言ってるけど
モデルの規模は同じなんやね
ファインチューンやっただけっぽいな 色々LLM使っててGPT5が初めて「出てきた内容ワイが確認しなおさんでもええわ」って思ったLLMだから
その性能を本当にローカルで実現できるようになったのだとしたらもうワイ的にはゴールやわ
あとは、もっとちっちゃいモデルで実現してほしいけども
そこは3.5か月で半分のパラメータで同等の性能実現の法則があるから
来年の6月には200b以下で実現してるはずやしな deepmindが発表したnested learningでまた改善するよ mistral large 3は675Bのアクティブ37B前後ってgrok君が言ってる🥺 Ministralは14Bもあるらしいが俺ら的にはこっちが本命かもな これがministral 3じゃね？って言われてるステルスモデルがあるのね
>>129も言ってるやつ
でもこれだと思いっきり真面目用途なのかなあ🥹
OpenRouterには、もう一つのステルスモデル「Bert-Nebulon Alpha」があります。
- 汎用マルチモーダルモデル（テキスト/画像入力、テキスト出力）
- 拡張コンテキストタスクにおける一貫性を維持
- タスク間で安定した予測可能な動作
- 競争力のあるコーディングパフォーマンス
本番環境レベルのアシスタント、検索拡張システム、科学研究ワークロード、複雑なエージェントワークフロー向けに設計されています。 初めて見たときsmallで24bってちょいデカいなと思ったし
largeなんて来たらそんなもんか 外国産でも日本の領土に埋めて掘り起こせば国産とします PLaMo翻訳の中身はちゃんとフルスクラッチだから許してやってくれ 26年度は無償での提供って...
pretrainどんだけかかると思ってんだよ >>138
プンルーやChutesのモデルに仲間入りしてAPIを安く使えるから
高性能なら朗報やぞ >>147
mistral largeはプルリクエストから非商用・研究ライセンスと判明してるからmistral以外ホストできないはず
正直largeを公開した理由はよく分からん mediumを公開してラージは隠しておけば良いのに
もちろん公開してくれるのはうれしいけど動かすの大変すぎ またmac ultra 512GBの株が上がるな 14Bはsmall 3.2と置き換えられるってモデルカードに書いてあるけどホントかなあ largeまでapache 2.0とかやるやん いつもの非商用ライセンスだと思ってた
日本語能力高そうだしありがてえ higgingfaceでVLモデル良いの無いか漁ってるんだけど
生のsafetensorに比べてgguf（Q8）は短文ばっかり出力されるんだけどそういうもん？
○○文字以上とか指示に含めてもまるで守られない
ちなみに今試してるのはQwen3のhuihui
Instructもthinkingもggufだと短文だし指示したシチュとかほぼ無視 >>153
ここで生モデル使ってる話は見たことがないから答えられる人居るか怪しい
パラメーターミスってるが一番あり得ると思う
あとはプロンプトは数字で指定するより長文でとか書いた方が伝りやすい 「長文で」であんまり長くならないなら「10000文字の長文で」にするとすごく長くなる
数値と長文でを組み合わせるとそこそこ具体的な長さが期待できる
まあ文字数なんてカウントしてないんだから忠実には守らないんだけど ライブラリによってデフォルトのパラメータちゃうかったりするからパラメータ見直すんが早いやろな あ、でも賢いLLMなら日本語も数えられるみたいだね
GPT-5は1000文字程度の日本語ならほぼ正確に数えて出力できるけどGrokは全くダメ ministral3 の最大コンテキスト長は256Kだけどgguf出してる人の解説によると適切サイズはinstructモデルが16K、reasoningモデルで32Kみたいね
やっぱそれ以上は性能落ちちゃうのか >>154
うーんそっか
とりあえずパラメーターをsafetensor版とgguf版同一にしても
gguf版が明らかに劣化してるんだよね
gguf版はポーズ指示とかに留まりストーリーがまるでない感じ
コンテキストと生成長はデフォルトより大きくとってるし
他のパラメータも調整したけど差は埋まらないわ
AIにも何故かって相談してるんだけどGGUFにする過程で劣化はよくあるみたいな回答だった
用途としては添付画像を基にストーリー作成依頼して動画生成ってやってる
このスレでVL使えるモデルでおすすめはあるかい？
もちろんエロに使えるヤツで（真顔） openrouterで触ってるけどエ口小説の続きを書かせると悪くないな 拒否もされない
VL用途だと駄目だわ 拒否はないけどレーティング関係なくアニメイラストだと画像理解が壊滅的でまともなキャプションつけれてない DeepseekV3.2、結構エロいけるな
kimi,glmとエロ系行けるデカいモデルが増えて嬉しい >>162
ひよこお薬かわいそう小説ベンチで90000文字で書いてって言ったら一気に1万3000文字出てきた
例によってDeepseek系の冒頭でドバっと地の文が出る癖はあるけどその後は描写もリズムもいい
これは使えるわ Deepseek 3.2は小説だと無茶苦茶長文出すけどエロチャだと逆に返事が一段落くらいで短くなりがちなんだよな
文脈読んで長く書こう短く書こうってしてるんだろうけど極端 >>159
エロ画像に特化したVLMがないからなあ
JoyCaption Beta Oneが比較的精度高い気がするけど、性的な説明文が多くなる
動画生成用なら画像にない説明文を盛ってくるmlabonne/gemma-3-27b-it-abliterated-GGUFの方がいいかもしれない せっかくまもなくチャッピーがエロ解禁されるのに、エロ生成を極めてないと使いこなせないよ
半年前にGrok先生と長時間レスバして、LLMのエロは大体理解した。
LLMにエロ書けなんて言っても、AIはエロの定義が広すぎて上手く生成できないのよ、
その代わりに、クソ長いプロンプトは受け付けてくれるから。
自分がほしいエロ描写を整理してプロンプトに入れる。クソ長いプロンプトでOK
頭の悪いLLMほど、細かいプロンプトが必要。
Grok先生よりチャッピーの方が自然で滑らかな文章を作れると実感はあるから
貯めたクソ長プロンプトをチャッピーに食わせる。
Gemini3がチャッピーより上というがどうなんだろうね ＞LLMにエロ書けなんて言っても、AIはエロの定義が広すぎて上手く生成できないのよ
LLMを始めてみんなが初日に気付く基本やね >>165
JoyCaptionは画像の説明は出来るんだけど
ストーリーは無理だったからHuihuiに流れ着いた
mlabonne/gemma-3-27b-it-abliterated-GGUF
は試したことないから試してみるよサンクス となりに文章生成AIスレがあるんだからそっちを参考にすればええのでは
個人レベルでの探求はどうしたって無駄や余分が生じて変な方向に向かうから数を集めるしかない >>166
GPTは察しが良いから、厳密に詳細に要件定義してなくてもそれなりに求めたものが出るから便利だね(エロ以外は) Ministral-3-8Bが出たって事で久々にローカルで遊んでみてるけどいつの間にかUDって形式が出てて困惑するわ
Q8とUD-Q8だとUD-Q8の方がなんとなく良さそうな気がするけど、これ日本語力はどうなんだろう？
UDは重要度に応じて量子化の程度を変更する仕組みってAIが言ってたけど、「日本語は重要な情報じゃない」って切り捨てられてる可能性もワンチャンあるのかな？ silly tavern でmagnumv4 72b iq4km使ってるけど、なかなかクオリティ上げるの難しい…システムプロンプトとかが悪いんだろうけど、まだ使い出したばかりで全然慣れないわ。
magnum にopen web ui で適当に小説書かせたらかなり日本語も良いし、モデルはこれでいいと思うんだが… >>172
量子化手法によっては評価データで評価をしながら量子化するってのがあって、
その評価データに日本語がないと日本語の性能下がるってことがありえるやろな
GGUFはどうなんやろ？ 評価データ使う方式なのかどうなのかググったけどよくわからんな チャッピーに聞いたわ
GGUFは評価データいらんらしいから日本語性能下がるとか考えなくてよさそうや
https://i.imgur.com/w2pAa23.png 