なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured アメリカモデルを中国モデルが追い越したら一気に情勢は変わりそうではある
最も賢いモデルにユーザ需要が集中するall or nothingの狂ったLLM市場で性能が劣るモデルがなんとか爪痕を残すためにオープンウェイトにしてるだけだろうしな 途中送信すまん
簡体字が文章中に稀に混じるからそれだけで一気に日本語が下手に感じてまうというバイアスもあるんだろうけど中国モデルは合成データ使いまくったバリバリのベンチマーク最適化の影響か文章も硬くて文章表現力もClaude gpt geminiには勝てないって印象
工ロ用途でも全然だし >>524
いずれMoEモデルの先に好きなエキスパートをモジュールとして入れ替えられる時代が来ると思う
日本語強化モジュールや翻訳専用モジュール、個人データ特化モジュールetc
今は汎用モデルの強化合戦が続いているが頭打ちになればカスタマイズの話が出てくるだろう GLM-4.6 3bitでもメモリー足りぬ
Sonnet 4.5よりベンチスコアいい(部分がある)とは llama.cppでのqwen3 next対応はいつ終わるのか推定するのが難しいぐらいくらいにはまだ作業あるのかも
https://github.com/ggml-org/llama.cpp/pull/16095
まぁ最初2、3か月かかる言うてたくらいやからな
気長に待つしかないでな ggufじゃなくていいならほかに動くプラットフォームはもうあるのよ https://huggingface.co/fastllm/Qwen3-Next-80B-A3B-Instruct-UD-Q4_K_M
fastllmというどマイナーなバックエンド用だけどこいつで動くやで。
デフォ設定だとエキスパートしかVRAMに置かない思い切った設計のバックエンドだけど、おかげでなんだったらVRAM8GBでもなんとか動く。
うちのVRAM12GB+RAM128GB環境で20tok/s出て、セカンドのGPU1は完全に寝てる。
CUDA13だとcuda認識出来ずにCPUモードで動こうとするから13の人は12.9に落とす必要あるからそこだけ注意かな ただ試しにコード書かせてみたり尻で相手してもらったりした感触は
Qwen3-Coder-30Bの蒸留版や信頼のAratako印のQwen3-30B-ERPあたりと大差ないかやや落ちるかもしんないという個人の感想だから
本番はちゃんと事後学習や蒸留したバリエーションが揃ってからかもねという現状のお気持ち それ知らんかったからChatGPTにllama.cppとの違い聞いてみたらfastllmは相当尖った実装してるみたいでちょっと面白そうやな GLM4.6 80GBぐらいのやつダウンロードしたんですけど
ロードに必要なリソースがTB超えてくるんですけどどういうこっちゃ……
Qwen3-235B-A22Bはモデルのサイズ+コンテキストぐらいのリソースで収まってたので行けると思ったんですが
ちなLMstudioでやってます lm studioは裏で安定版lammacpp動いてるわけだが、GLM4.6ってもう対応したっけ？lm studioは枯れたモデル試すのはGUIで楽ちんだけど最新モデルの人柱にはあんま向いてないやで？GLM 4.6がlm studio対応してます！ってきっぱり言ってるならごめんやが 先にもちょいと書き込んだが、エロに弱いと言われるQwen3だけど、mistralPrismや天照様でエロ事後学習に定評のあるAratako先生のQwen3-30B-A3B-ERPかなり良い。
デフォルトだといつものQwenでこらあかんかと思ったら、繰り返しペナをデフォルトの1.1から1.15から1.17ぐらいにしてやるとかなり良い感じ。
調子に乗って1.2とかにしちゃうとお前bergちゃんかよという感じのキチガイエロ女になるから注意や。
事後学習ってやっぱり大事なんやなって 確かそのモデルは継続事前学習してなかったっけ？
そのくらいいじればQwenでもある程度は良くなるってことなんだろうな
数十万くらい作るのにかかってそうだけど… ガチでやってるやつはファインチューンじゃなくて追加の事前学習しとるよね
本来なら追加学習というと「追加の事前学習」のことらしい
ファインチューンと何がちゃうのかようわからんが ワイはむしろberghofちゃんの隠語マシマシドスケベ女とRPしたいんや
berghof ERPが純粋に賢くなったようなモデルが欲しい LLMのエロプロンプトで培ったテクニックが動画生成でも役に立つようになるんだろうな グラボのメモリ12GBでエロいことできるモデルを教えて >>542
超簡単に言うと
事前学習：赤ちゃんのbaseモデルにチャットのやり方ぐらいまで教え込むこと。めっさ膨大なコスト(データセット)と時間がかかる
継続学習/継続事前学習：事前学習ではまだわからんちんの子に事前学習と同じやり方でさらにしばく。事前学習ほどではないが相当のコスト
事後学習/ファインチューン：とりあえずチャットなりが出来るようになった子に専門知識（エロとかコード知識とか）を教え込む
事前学習系よりは圧倒的に低コスト
大体こんな感じや、多分Aratako先生がQwenちゃん見て「んー、この子にはもっと躾が必要ですねえ」と判断して特別調教をしてお出しされた牝豚モデルがQwen3-ERPちゃんなわけやな >>545
Magnum v4血統の12Bの奴でVRAMに収まる奴、もしくは遅くていいならMistral Prism、あるいはメインメモリの方には自信ありニキならQwen3-ERPでええんちゃうか？
大体Aratakoさんのモデルにはハズレ少ないから初心者はあの人のモデルから自分ちのリソースに収まるの探すのがお勧めやで 継続事前学習あたりになると個人の金でできる範囲超えちゃうし、金ある会社がエロ継続事前学習してモデル公開してくれるかというと絶対してくれないから結構絶望的だよな Aratakoさん、エロ調教用のデータセットは公開してくださるわ、mistral large調教版の天照様は公開してるわで化け物よなぁ 今日は８年前に始めて彼女ができた日だ
お互い童貞と処女だったが
結局ヤレずに破局
いまごろどこで何をしてるのかな……
https://youtu.be//6XB6vALjDmg ロールプレイがやりたくてAratako/MistralPrism-24B-Q4_K_MをOpenwebUIで使おうとしたんやが
2,3回は普通に会話が出来るんやがその後なんも返答が生成されなくなってしまうんや
再生成をポチポチしてると基本無反応何やがたまに小説みたいに最後まで流れをがーっと書いて終わらせてしまう
なんやこれどうなっとるんや よくあるくり返しが気になるんやが
LM STUDIOでくり返しペナルティなるものはどこで設定するんやろか
グローバルな設定項目なのか、モデルを読み込んだ時の設定なのかわからんのよね >>551
キャラ設定とかのプロンプトをすごく簡潔にして非エロの短文会話をした場合もそうなる？
何かが上手く噛み合ってないのかもしれへんで >>552
モデル一覧の歯車からInference >>554
サンガツ、最新版なんやが右側サイドの設定で見つけたわ、チャット単位の設定項目なんやな
右サイドはシステムプロンプトしか意識していなかったんやがこんなところにあったんか
sampling -> repeat penaltyがあって1.1やったわ
1.2,1.3にしてもあまり変わらんような・・、temperature 低いと確かにちょっと物足りん子になってしまう
temperature 0.8やが、エロ目的なら温度やペナ設定どれくらいが適切なんやろか SillyTavernのweb検索機能今更入れたけど大手のキャラ再現率の高さこれのおかげなんか？口調とか一気にそれっぽくなった外れもあるけど困ったらGrokのエキスパートに聞いたらだいぶ改善してくれるよ >>553
1回ちょっと短くしたんやがそれでもちょい長いかもなぁと思ってはいたから後で思い切って1行で済むぐらい短くして試してみるわ BasedBase/GLM-4.5-Air-GLM-4.6-DistillのQ6_K試してみた
GLM-4.5-Airよりは良いけどやっぱりちょっとワードチョイスが変な感じ
サンプラー設定詰めたらいいかもだけどQwen3-235B-A22B-Instruct-2507の方が自分的には好みかな 235Bのnextが出てllama.cppも対応して日本語エロFTモデルも出るとええな 早速GLM4.6のAir触ってみたけど、
俺の用途だと幸いワードチョイス変だとは思わんかったな
合う奴には合うんじゃね
ただ、あれ本当に「4.6 Air」相当なんかね？
本家からは4.6のAir出てないっぽいし…
てか、GLM4.6のほうは4.5と別物だろこれ…
4.5の時点で、Geminiに迫ってきたか？って思ってたのに、4.6はそれを越えてきた感あるわ
1発目から違い分かるレベル
なんか作者の意思というか魂こもってる感じするわ
なんで、これが話題にならないのかと不思議だわ
ただ、欠点もあって、考えて考えまくるのか、Thinkingのトークン消費量がえげつないw GLM4.6はベンチマークによってはclaude sonnet4.5よりスコア高いからすごいよ うん、マジでGLM4.6すごいわ
本家からあのレベルでGLM4.6 Air出してきたら神だろ
他にGLM使ってる人おらんのかな 話題に出るまで気づいてなかったけどBasedBase/GLM-4.5-Air-GLM-4.6-Distillいいね
名前からするにGLM4.5-Airをベースに4.6の蒸留モデルを作ったんだろうけど日本語も良くなってる
個人的にAirがぎりぎりVRAM乗るサイズだからこれはありがたい エロとしての性能を評価してるのかどうかどっちなんだい！ もちろん、エロとしての性能よ
日本語ではGLMがトップクラスじゃね？ 熟練エロLLM使い手に聞きたいんやが
新モデルで「ぉほぉ〜すごい性能上がってる」とか何の差分で判断してるんやろか？
くり返しをしにくいとか表現的なバリエーションが多いとか起承転結がしっかりしたエロ文章になってるとか？ 文章の破綻の有無もあるけど少ないプロンプトでも"察してくれる"かどうかも一つのポイントかな
例えばSTのキャラクターでケモミミ尻尾を持つ設定のキャラが居るとして"賢い"モデルは会話例に記載しなくてもポン出しの地の文で
*緊張のあまり、尻尾をピンッと立たせ〜*
とかケモミミや尻尾の描写をちゃんと出してくれる
あんまり賢くないモデルだと会話例に記載しないとこういった描写してくれないんよ NovelAIも最近GLM採用したけど、とりあえず当面はこいつがトップって感じでええんか ChatGPTちゃんが、また露骨に厳しくなっちゃった
文章の出力量はあがったけど エロ業界もAIで絶滅するわ、確信した。
AVもエロ漫画も官能小説も絶滅する。 >>570
自分で詳細を考えることなく、個性的で魅力的な作品を誰しもが一瞬で作れるようになったら絶滅するな
モデルの癖みたいなものも無くなって、人物、話の流れ、構図等の多種多様なパターンをお手軽かつ魅力的に生成してくれるようになったらゲームエンドや >>563
imatrix版出ないかなぁ
要望は上がってるみたいだけど
遅くてもいいから64Gに乗ればいい まだ創作を絶滅に至らしめるような未来は見えてもいないと思うけどな
神は細部に宿ると言うように、人間の手というノイズが入っていないとどこかにこれじゃない感が出る
パターンを網羅するだけじゃ足りん 今の学習のさせ方だとネット上にある情報で止まってしまうから行っても大学院生レベルまで
ただ糞広い範囲の知識を持ってる大学院生って感じ
この時点で作業のアシスタントとしてはもう十分な能力だなという感じなんだけど
人間より優れた創作となると院生レベルは超えて業界トップレベルまで行かないと厳しいよね
我々が見てる漫画なんかは学生レベルは超えてプロとなって働いている人らの中でも
さらに雑誌に掲載されてるような上澄みの作品を見て面白い、つまらないって評価してくるくらいだから
それはもう何段かブレイクスルーしないとたどりつけなさそう 