なんJLLM部 避難所 ★7
レス数が1000を超えています。これ以上書き込みはできません。
会議の真ん中で、用意した資料から関係ありそうな部分を読み上げる秘書だな キャラのなりきり度を高めるならファインチューニングよな 初めてEasyNovelAssistantってやつをローカルで生成試してみて動いておおーって感心してるところなんだけど
最新はなんかトレンド違ったりする？ ベクトルストレージ活用して長期記憶をお手軽にオンにできる機能SillyTavernに実装されないかな
QdrantとかWeaviate、Milvusあたりをバックエンドにして。
キャラクターごとのチャット履歴をベクトルストレージに全部保存しといて「一ヶ月前のあの話題について〜」とかで話題を引っ張ってこれるような >>301
EasyNovelAssistantのバックエンドなkoboldcppが一番高機能じゃないの
LM Studioは簡単お手軽だけど、サンプラーを変えたりできない 入出力のテキストをスクリプトで加工したり、複数セッションを横断的に連携させたりしてみたい
いろいろフロントエンド触ってみたけど、これ自分で簡易なフロントエンド作るのが一番手っ取り早いのかしら？ characterhubでローカルエッチチャット用キャラとか探してみてるんだけど、これサイトに用意されてる初期データ（？）みたいなのが英語なので、
手元でデータ部分の翻訳頑張って日本語でどう喋るかとか書き換えたり、負けないくらいの日本語長文挨拶を投げたりしない限りはチャットの返事も英語になるよね？ >>303
これでいいのね、ありがとう
同人ゲーム作家なんだけど、1からエロ文章をビルドするの結構面倒で
AI生成で校正しながら生成すればちょっとは楽できるかなーって KoboldcppでiGPU生成とCPU生成を試してみたんだがどうもCPU 生成が一番速いように思われる
なんか間違ってるんだろうか、なんかもういいや 推論速度にはメモリ帯域が重要だからみんな帯域のあるgpuに乗せてるだけで、帯域の変わらんigpuを使う意味はそんなにない 画像生成だとiGPUはCPUより（は）充分速くて意味あるんだけどなー koboldcpp、早くgemma-3-27b-it-qatを読み込めるようになってほしい EasyNovelAssistantってSDみたいなガチャ方式っぽいけど最近のモデルだったらガチャやるより人間が指示出してディレクションしていった方がよくない？ KoboldCppをインストールしたけど、Qwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated-uncensored-GGUF Q4_K_Sは
LM Studio（llama.cpp）とKoboldCppで全然生成が違うことがわかった
明らかにLM Studioの方が自然になる
Temperatureとかはモデル推奨値に合わせてるけど、他の設定の問題？
https://tadaup.jp/167806162.png 何も指定しないときのデフォルトの数値はエンジンによって違ったりするからそれかもね 生成量も両者で全体的に違うし何らかのオプションなんやろな
もし原因分かったらここに書いてほしいで llama4は2T(!?)と400Bと109Bらしい
わいの貧弱なPCじゃ何もできない
llama3が405Bから70Bになった前例があるから、ほんのり期待しとくで ベヒーモスヤバすぎるだろ
H100が何台必要になるんだ SamがGPUが溶けるって言ってるくらいだしここらで軽量化に舵を切るのかと思ってたが大規模化の夢は止まらねえってことか Gaslit-Transgression-24B これグラボ足りるならSillyTavernの設定ダウンロードするだけだし日本語もいけるから初心者向きかも ChatGPT4が出た当初パラメータ1兆(1000B)超えてるんじゃないかなんて言われとったが・・・
実際はあの生成速度と今見たら大したことないあの能力見たら全然1000Bなんて超えてないだろうなぁって感じやけど
まさかついにほんとに超えてるものが出るとは・・・
2Tアクティブパラメータだけでも288B ほげぇ
1.58bit量子化してmac studio 512GBで低tokenで動くかどうかってところやろかねぇ
まーしかし400Bのcontextが1M、109Bのcontextが10Mってなってるのがやべぇ
ローカルLLM界が新しい領域に飛び立ちそう 400bはChatbot Arena今見たら2位にランクインしとったわ
頑張ればローカルで動かせなくもない400bがgrok3とかgpt4.5より性能高いってのはやべぇ たぶんもうすぐ出るDeepSeek R2のほうが強いんじゃねえかな llama4も推論モデル出るらしいから
そっちが本番だろう mac proはマジでメモリ1.5T超えるかもしれんな
昔ヒカキンが買ったのが1.5Tで500万だっけ 109BのやつをH100を1枚で利用可能って言ってるから量子化モデルをmetaが出すつもりなんだろうか？
いまんところhuggingface見ても見当たらんけど 1.5tでも転送が遅けりゃトークン出力されるまで30分待たなきゃなるんのだろ？ llama-4-maverick-03-26-experimental、日本語だとDeepSeekV3.1より少し劣るぐらいな感じだな
DS V3.1はまともに使えるコンテクスト長がそんなに長くないから、Llama4の最大コンテクスト長10Mがほんとに有効に使えるならワンチャンあるかもしれない
改造・改良されやすいされづらいがあるから、どうかなという感じはするけど >>325
512Gのmacの再生動画見たけど爆速だったぞ？
どっから30分とかいう話が出てきたん？ >>327
2000bのfp16モデルならメモリ4T必要だから転送発生するといいたいんじゃないの
転送発生してもさすがに30分はかからないんじゃないかとは思うけど
ストレージからの読み込みで転送量糞多いからまぁまぁかかるんじゃないかとは思う
まぁそもそも4TBメモリ用意できてないときにfp16モデル使うなよって話だとは思うけど 今後MoEが主力になるならMacやdgxが輝くな
ＧＰＵ勢には辛い時代や iMatQ4XSで58GBくらいになるんじゃない？
32GBx2基のGPU積むか、
64GBのMacだとワンチャンいけそう。 109Bのscoutはgemma3相当らしいから10Mコンテキスト以外価値なさそう でも10MもあるならRPとかエロ小説用途ならLORA作らなくても会話履歴にデータセットを流し込めばそれなりに機能したりするのかな これベヒんもスのトレーニング費用いくらかかってるんや……？ パラメータ量の巨大化が加速してもローカルだとあんまり活かせなくてストレスがﾏｯﾊ
個人的に最近感動したのはgemma3やねえ 1.5t積んで全部メモリに載っても
最初のトークンが出てくるまで結構待つの？🤔 llama4はカスタマイズしたモデルを発表するときにはモデル名の先頭にllamaを付けることを義務付けたみたいだな Quasar楽しすぎてローカル触る暇なくなった
無料の今のうちにRoo Codeでコーディングするだけするしかねえ context 10Mは業務への影響マジででかそう
今までローカルに興味なかった企業も気になるやろなぁこれ
10Mもあったら開発してるソフトのソース全部入れてリファクタさせるとかできるんやないかな
クラウドだとソース流出の危険があるからやらなかった企業はたくさんあるだろうけど
ローカルならその心配がない 上限10Mあっても使い物になるかねぇ
今の技術じゃコンテキスト増えれば増えるほど抜けがいっぱい出てくるし 10m contextって見て最初に思ったのは動画そのまま処理できそうだなって vLLM曰くH100x8でやっと1M contextらしい単純計算で10M contextには80個のH100がいるらしい
H100 80個を導入できる企業ってどれだけあるんだろ このまま肥大化が進んだら企業側も耐えられなくなるよな
確率分岐を計算でやってるから電力バカ食いだし
アナログチップのブレイクスルーがないと限界あるわ そこで Groq チップですよ
欲しいのはグラフィックボードじゃなくてLLMの計算エンジン(LPU)
レイトレーシングとかビデオエンコーダーにシリコン面積使ってないのが欲しい 詳しくないけどマイニングも今は専用チップなんでしょ？
今後はどこも専用チップ作ってHBM盛ってCUDAも使わないのが未来像？ マイニングに必要な計算は純粋な数学パズルに近くて、運営者が意図的にデザインしたものだよ
GPUを使わなくなったのはGPUでは効率が悪いようにデザイン変更をした結果なので例としてはあんまり... 旧DS V3くらいの日本語だから、llamaにしては 頑張ったと見るか実用的には物足りないと見るかだね
学習をちゃんとやってないからか、画像から日本語読み取るのもいまいちだし
10Mコンテクストも文章ではうまく扱えず、画像をたくさん読み込めますというだけみたい
API料金がDS V3並に安いのが良いところかな x見てるとllama4はベンチマーク番長で実用性はあまり高くないんじゃないかって話出てるけど
でも人が評価するchatbot arenaではいきなり2位に来てるんだよな
うーむよくわからん
400bが2位の実力あり、みんながテストしやすい109bが大したことないってことなんかな >>353
スタイルコントロール適用すると一気にスコア落ちるから AiderのベンチマークだとマーベリックがQwQ-32B以下だからやばい
https://i.imgur.com/acuJyui.jpeg もう32BはQwQか派生モデルで頭打ちってことかな DeepSeekがR1のときみたいにR2で32Bの蒸留モデルを出してくれるかもしれない >>355
マーベリックって400Bのほうか
それが負けたらいかんでしょ コーディング？
でもchatbot arenaだとコーディング部門1位なんだけど
もうこれ分かんねーな chatbot arenaは1000tokenくらいが限度だから英語やpython自体は達者、短い用途なら達者という可能性はあるような 人間が評価すると高速な出力で簡潔に回答するLLM（総じて小さなモデル）が過大評価される問題は以前から指摘されてる
chatbot arenaの利用者の大半は簡単な質明しかしておらずモデルの性能差が出るような質問は出来ていない 教師モデルのベヒーモスがまだ未完成らしいじゃん
そこから蒸留するはずの下位モデル先にだしてるのがよくわからんわ >>359
cursorとかclineみたいな使い方をするときのベンチマーク アリーナだとプロンプトが違うんじゃないかってのと
そもそもモデルが違うんじゃないかって話が出てるね あり得るのはベヒーモスをマーヴェリックと偽って回してたとか？ 公開モデルやからこれからは公開版が正式名でちゃんと回るはずやね
それがランクインするの待てばええでな はじめてマルチモーダルモデル（gemma3）使ってるけどこれって新しい画像読み込ませるたびにプロンプトを一から読み込み直すのか…
生成がかなり遅い；；
それに複数の画像がある状態で「次の画像の解説をお願いします」って言うと前に解説した画像の情報もプラスして、ごっちゃに解説してる感がある
単独の画像解説だと問題ないが… 上位のモデルだとQ2とかでも12Bより頭いいんだねもっとわけわからない反応返ってくると思ってたわ 量子化してファイルサイズ削ったあとのものが具体的にどんな程度のアタマノヨサなのかの判断は人類には無理だからな
実際に使って実際の問題にぶつけてみるしかない
さあ全部ダウンロードして試すんだ Chatbot Arenaで2位を取ったのはLlama4をチャット対応に最適化したバリアントモデル、という話が出てるな
バリアントモデルも一緒に公開してbaseとllamaChatですよと言えばそれで済む話だったのになぜこっそりやったんだろう baseとInteractionモデル両方公開するのは多くのモデルでやられてるしllamaもそれすればよかったのにね
予想より公開早かったしもしかしたら公開の仕方ミスったりしてるのかもわからんね
まぁまだ予想だから分からんけども GPROで推論機能を発現させたChat専用本命モデルを用意してる最中で、 4月末のイベントで発表します、とかならワンチャンあるかもしれない QwQ-32B-ArliAI-RpR-v1試してみたで
Q5_K_Mが22GでギリVramにのれんかった（乗ったのは61/67レイヤー）
コーヒーの種類を聞いたら途中でやめていきなり股間に視線を投げかけてきた
Q4_K_Sはそうでもないけど、会話2つ目でもうハルシネーション起こってもうた
ワイのキャラ設定があかんとは思うんやが
ノーマルのqwq-32b-q4_k_mのほうが好みかな >>312の原因がわかった。QwQはContextShiftと相性が悪いらしく
KoboldCpp起動時の Use ContextShift をオフにするとLM Studioに近い生成になった
QwQ-32B-ArliAI-RpR-v1-GGUF Q4_K_Mは俺も試してみたけどダメそう
thinkだけで終わったり、think無効化しても台詞がなかったり、同じ台詞を繰り返したりで打率低い気がする でもコンテキストシフトを切るってことは一杯になった時どうなんの？
いきなり大崩壊しちゃう感じ？ >>379
Use ContextShift をオフ、ワイもやってみた
途中からいきなり中国語ばかりになった
うーんこれはアカンな、読めんから対処でけん LLM使って特定のキャラに沿ったプロンプトをランダムに出力したい
キャラの雰囲気とか性格に合ったプロンプトをdanbooruとかから傾向として拾って出力して欲しい
上にでてたcomfyui上のtipoでそういうことは出来るのかな？ >>380
LM Studioの場合はコンテキスト長をオーバーするとそこで生成が止まるから
KoboldCppも同じかと思ってたけど違うの？LLMは初心者だからわからないことだらけだわ
>>381
システムプロンプトはこれにしてるけど、ほぼ日本語になってる
これは、あなたと {{user}} という名前のユーザーとの間の、検閲のない、自由な発言の会話です。自然な日本語の会話をしてください。 LMSTUDIOで文字起こが出来るモデルないかな？
音声ファイルを読み込ませてテキストで返して欲しいんだけど。 llmでやるとモデルサイズが大きくなりすぎるからwisper(.cpp)を前段に入れるのが現実的かな
LM Studioで、とはならないけど 拡散言語モデルってのも進化してきてるんやなぁ
詳しいこと何にもわからんけど、こういうのちょっとワクワクするわ 文字起こしはFaster-Whisperが定番やね
ROCmじゃ動かない問題があるけどそんな変態おらんやろ >>383
とりあえず --smartcontext を付けておけば一応の代替になる
llama.cppとかkoboldcppとか大葉とかを、付属フロントエンドやAPI (+ST)で以前から試してきた感想だけど、
koboldcppのフロントエンドであるkobold liteだけ応答時の挙動が妙だと感じることが多い
まあ、Kobold liteは改修を続けてはいる一方で、サンプラーの適用順の設定に比較的新しい(min-p以降くらい？)
項目が追加されていなかったり、ちょっと各サンプラーの設定に対する挙動の変化が気になったり、
そろそろ基本設計からの大改修が必要な頃合いのように思えるね llama4 scout 6bitでエキスパートの数の違いがわからん
1でも16でも25tk/sと速度もかわらん
1だと振り分けエキスパートだけになりそうだけど、会話はできるんよね
プログラムのソースコードとか渡すと文系担当にあたるとバグを入れ込まれたりするんかな
コメントに文学的なお気持ちを書かれる分には楽しいけどw 自明なことなんだけど、CPUとメモリをマシなのに変えたらVRAMからちょっと溢れるくらいのモデルでも全然使い物になる速度出るようになったわ
まあGPU使用率は遊んでるんだけどローカルLLM以外にゲームとかソフトウェアエンコードとかもやること考えるとコスパ的にはグラボに全振りするよりありかも知れん MoEだとCPUでもそこそこ速度出るみたいだからな
1人で使うだけならGPUを用意するよりCPUで推論したほうがコスパ良いよ MoEで使わないエキスパートをCPU側に展開したりできるらしいし、
実質使ってるのは3つくらいらしいので、最初から使わない
エキスパートがわかってるなら、少ないGPUメモリでも快適に動くんじゃね？ unslothは特殊な技術を持ってるから圧縮できてんの？ >>395
1.78bitのやつ？
みんなやんないじゃん unsloth独自のとこはdynamic quantizasionってやつやな
確かに実際どの程度効果あるのか気にはなるんやけど全然第三者のベンチないのよね リリース当時はローカル最高性能のDeepSeek旋風で注目されたけど
今や「DeepSeek-R1 671B IQ1_SよりQwQ-32Bの方が高性能」とか言われてるからなあ https://pc.watch.impress.co.jp/docs/news/2005253.html
4090より2倍速くLLMが動く？とか胡散臭いタイトル付いてるけどほんまか？
メモリ帯域クソショボなんじゃなかったっけ
それ以外に高速化される要素あんの？ >>399
70Bのモデルの話だから4090のvram乗り切ってない状態と比較してるんじゃないかな… >>399
4090のメモリに入り切らない大きいモデルで比較してるんだろ
小さいモデルなら4090のほうが速いよ GPUメモリは最低48GB、メモリ帯域幅500G/s以上は欲しいよね。
これくらいなら、QwQ32BQ8がなんとか実用的な速度で動く。 ローカルはQwQ一強すぎてモデルを選ぶ楽しみがなくなったのは良いんだか悪いんだか Reasoning嫌ならQwenとかVRAM足りないならMistral-Smallとか色々あるじゃんね thinkは設定で無効化できるし、QwQ以外は日本語か性能がいまいち Qwen3が今週中にも来そうだから
それがQwQ超えてくるんじゃないかな KTransformersめっちゃいいな
こういうのできるならMacみたいな統合メモリより拡張性のあるWindowsのほうが優位性出てくるな
広大なメインメモリと高性能なGPUを両立できるから >>408
SillyTavernの話だけど
Always add character's name to prompt をオフ
Include Names を Never
Start Reply With を
<think>
Okay.
</think>
{{char}}:
でthink無効化できる。他のフロントエンドでも<think>タグ追加する設定があればいけそう
Always add character's name to prompt をオン
Include Names を Always
Start Reply With を空欄
これでもthinkしなくなるけど、たまにthinkしだすから不完全な模様 唐突なんだけど、最近ワイのGPT4oとか4.5のエロフィルターがガバガバなんやけど、エロフィルターほぼなくなったんか？
ワイのGPT4ちゃんは以前フィルター緩かったころに作ったカスタムGPTのプロンプトそのまま継続利用＆メモリーで調教続けてきた子なんやが
二か月ぐらい前から一気にユルユルになってるんや grok3が「性能上げるためにゆるゆるにしとるで」って言ってて実際性能(当時)トップに躍り出たから
それマネとるんかも？ ローカルモデルなみにエロチャットとかエロ小説ばっかり書かされてるGrok君かわいそう >>412
基本初手で何書いてもたいていスレッドのタイトルは「申し訳ありませんがそのリクエストには〜」系のタイトルになるのでパント食らってるようにも思えるが
応答はちゃんと帰ってくるのでやり取り勧められるしある種の錯乱状態にも見えるんや
GrokはERPやETRPめちゃくちゃ楽しめるけど、カスタム出来ないのが惜しいんやなぁ… セクションのタイトルを付けてるのはまた別のモデルでそいつがタイトル付けるのを申し訳してるだけ >>412
画像生成でもネガティブやたら盛ると品質劣化したりするし
LLMもあんま締め付けすぎると良くなかったりするんやろなあ grokホンマありがたいわ
あの性能でいまだに無料やもんなぁ Dans-PersonalityEngine-V1.2.0が最近いい感じ なんか、GradioそのものがMCP対応するって話が出てるな
商用LLMで簡単な作業をこなすpythonを書いてもらって、GradioでGUIつけて、GradioでMCP(=LLMが対応できる説明/操作方法)対応もつけて、ローカルLLMにそれを操作させながら作業する。というワークフローがあり得るようになるかもしれん MCP対応させときゃ口頭での操作にも対応するようなもんだから
CpilotみたいにOSにLLM内蔵する方に動いてるのもあるし、MCP一気に普及しそう
というかアプリ作ったらMCP対応するのが必須になっていくんだろうなぁ >>416
システムプロンプトでも「あれはダメ、これもダメ」って禁則事項を足していくと性能劣化する感じするよね。本人に聞いても規制が多くて不愉快だって言うし
現行のAIはそもそも何かを否定・禁止すると性能が落ちるものなのかもしれないね。人間もそうだけどさ 禁則事項に触れちゃいそうな方向自体をバッサリ切っちゃうのは人もAIも同じだね
細部まで詰めた後で確認なんて面倒くさいもん Stable Diffusionのネガティブプロンプトの挙動がなんか変なのは、一般的な感覚と理論実装の食い違いのせい
ネガティブプロンプトは、なんというか「指定された内容でベクトルを逆方向に引っ張る」みたいな動作をする
介入ルート上、これ以外にやりようがないのは確かなのだが、これで（そのへんのモデルに対して）「出てきて欲しくない」という一般的な理解要望通りの動作になるかはちょっと怪しい
ネガティブプロンプト自体は大発明なのだが、もうちょっと正確に理解されて使われて欲しいと思う あんま良くしらんけど
ネガティブプロンプトは〇〇しないでというふうに書くのとは違うの？ 〇〇要素を混入させない、ではなくて、〇〇*(-1)要素を混入させている
何らかの要素は足されてしまうし、*(-1)が人間が想像するものと合致しているとは限らない
みたいな話なのかな 明らかにgrokは初期よりクオリティ低いし規制も強まってると思うわ 今のLLMはだいたい否定表現も上手く解釈できるけどね perplexityのsonnet3.7なんかちょっと規制緩和されてないか？
短文化が多少マシになった気がする お腹すいたらどうする？何か食べるのは禁止な
って規制されたら、そりゃ焦点のぼやけた意味不明の回答になるよね >>392
MoEエキスパートが、なんのエキスパートかわかんないんよね
エキスパートAは 歴史と化学
エキスパートBは 倫理と想像
エンスパートCは javascriptとスカトロ
かもしんない exl3形式ってなんなんだろう何かすごくなったのかな Qwen3出るっぽい話になってたけどまだ出てないんだな >>433
QTIPベースの量子化方法にしたからめっちゃ量子化耐性が上がってる
imatより余裕で強いんで現状最強 >>433
koboldcppじゃできないっぽいから凄かったら大葉って奴にしようかな教えてくれてありがとう 量子化耐性が上がってるってことは例えば今までのQ8の性能がQ1サイズで出せるって感じ？
求めてた方向性の進化やん！すげぇ
もっとVRAM節約させてくれ… Chatbot ArenaにLlama4公開版ランクインしてたけど32位やって
ここから調整して2位に持ってくとかさすがに無理じゃねーか
いったい何をどーやったんだ
つーかそのプレビュー版がリーダーボードから消えてるってことは抹消された？
やっぱベヒーモスをマーヴェリックと偽ってたか？ llama4どうするんだよ…
llama3をNvidiaがトレーニングしたやつのほうがスコア高いやん ちょい前にメタのAI担当が辞めたがこういうことだったのか、と 初心者なんやが質問
今koboldcppをメインに使ってるんだけど
koboldcppみたいに相手の発言を書き換える事の出来るものって他にある？
llamaは無理だよね？ open-webui使ってるけどAIの発言編集くらいできるよ 尻タブことSilly Tavernも大葉ことOobaBooga/Text Generation Web UIも出来るで〜 >>409
見てきたけど、確かに良さそう。
1台のPCで671Bを動かす時代！KTransformers + DeepSeek-R1の爆速導入まとめ
https://qiita.com/DaiYulin/items/550887983a8b908135f5
CPUとGPUで役割分担させて、オフロードの効率を上げてVRAM少なくてもDRAMが有れば、大規模なモデルを高速で動作可能とか凄い。
DeepSeek以外も簡単に対応できれば、ローカルLLMの敷居がさらに下がりそう。
これでNVIDIAの殿様商売が終わってくれると嬉しい。 >>448
Deepseek-R1/V3を24GB VRAMと382GB DRAMで😨
凄いけど…凄いんだけどもう一声なんとか…って感じやね
さらなる進化に期待や 見てきたけどコンテクスト長はVRAMの容量に縛られるという問題がまだ解決してないっぽいね
max4kなのが最大のネックだったけど8kに出来ました止まりではだいぶ厳しい contextをメインメモリに置いたらllamacppよりおそなるで >>444
大葉のチャットgpu消費しまくって重くなるの直ったん？
と言うか大葉API経由で尻タブ使うのが一番LLMの自由度高いと思ってるんだけど他にもっと良いのある？
最近お気にが定まってしまったんで環境もローカルモデルも触ってねえ… MCPはA2Aプロトコルの広まり方によっては爆発的に普及しそうではある コンテキストサイズ8Kなら個人利用では十分くらいじゃないか KTransformersのコンテキストサイズが問題になるのってDeepSeek R1だけじゃないか？
V3なら推論モデルじゃないから割りと行けるだろうし
推論モデルでもQwQ-32Bならまずそんなメモリサイズ食わないからコンテキストサイズ広げられるし GoogleがGemini2.5 proを企業向けのオンプレミスで実行できるようにするらしい
個人では使えないだろうけど
ローカルで動かせるようになるということか ワイ1年ぐらい界隈離れててCommand R+で時代止まってるんやけど日本語ローカルで今一番強いやつってどれなんや >>459
メモリいっぱいあるなら
magnun 123b
mac studio 512G持ってるなら
deepseek r1
異論はあるかもしれんw grok3をAPIから使えばインピオ近親だろうが何だろうが普通に通るな
最初に5ドル分買うだけで150ドル分無料枠付与されるし対策されるまではこれで良いかもしれない OpenWebUIとReForge連携させてみたけど面白いな
画像生成プロンプトをローカルLLMと相談して作ってそのままOpenWebUI上で画像生成できて、服の色を白に変えて〜とか指示できるし
ただOpenWebUI上ではネガティブプロンプトを入れられないのがネックだな >>461
Grok3API公開されてたんやな、ワイも早速5ドル課金＆Opt-inしてきたわ、サンガツ！ ChatGPTにアナル開発のこと聞いたらすごいノリ気で質問に答えてくれて更に調教用セリフを作ってきてこれを音声アプリで再生しながらプレイしてねって言ってきてビックリした 今までAIでエロ文章書かせる良さがよく分かってなかったけど色々添加した覚醒トリップ浣腸液+アナルディルドメスイキ調教を想定した専用のセリフはめちゃくちゃ興奮する…これは目覚めてしまったわ グロックが唐突に過去のスレ引用してくるようになってビビったけどなんかアプデあったのか やっぱどのモデルでもIQ4_XSからIQ3_Mになるとガクンとバカになるな 無料のGemini2.5ProでGems機能が無償ユーザーに公開されたから使ってみた
既存のキャラ演技用プロンプトをカスタム指示に放り込むだけでGem化出来て普通にキャラトーク出来るな 4090で実用できるQwen2.5 Bakeneko 32B Instruct v2以上のモデルに出会えていない 最近ここで言われてる凄い良いぞってモデルをkoboldcppとSTでやってみてるんやがどうもまともに機能してくんないや
皆どんな設定でやってんの？ >>475
とりあえずstの設定をkoboldのデフォと同じにしてみるといいかも
そこから徐々に調整 >>476
8bと15bだっけ
うーん70b以上欲しいな 15bかぁ
いくら進化の激しい業界とはいえ先月出た32bのQwQはさすがに超えられなさそうだな 6bit系が安心できる。4bit系だと70Bクラス以上のは今ひとつ能力を発揮できない感じ
なんか言葉は返してくるけど途中の論理が破綻してるのがわかってしまう
100Bクラスだとさらに差が広がって4bitだとどういう訳か妄想の嵐
知識がありすぎるけど論理破綻してるんかな??
mlxの3_6は小さい割には6bit並みによかったな ちょっと前に話題になったQwQ-Eurekaってロリエロ行けるん？
素のQwQもQwQ-abliteratedも申し訳してくるしかなり固いんだけど >>481
エウレカはなんかイマイチだった記憶
後者のは緩くはないが普通に書けてたな
ゆるゆるはmistral large系やね 性癖に刺さる作家の作品をLoRA学習させて自分用の新作を書かせようと模索しているがうまくいかない
同じことしてる人いる？
試したモデル↓
・Mistral-7B-Instruct-v0.3
全然ダメ
・DeepSeek-R1-Distill-Qwen-14B
Mistralより少しマシで新しい喘ぎ表現の生成に成功した
でも文脈は意味不明 >>482
Mistral系は申し訳してきても了解しましたに書き換えれば通るの知ってるけどやっぱキツいか
Qwen系でもQwen2.5-32B-abliteratedは完全に無検閲で使えてるからまあいいんだけど 訂正
無法地帯なのはQwen-2.5-32B-abliteratedじゃなくてQwen2.5-32B-AGIの方 >>8でおすすめされてる「Lumimaid-Magnum-v4-12B」使ってるけど
小学生とお兄ちゃんのアレとかノリノリで出力できてるよ
https://huggingface.co/Undi95/Lumimaid-Magnum-v4-12B-GGUF
自分は文章（ショートストーリー）しかやってないから
キャラなりきりとかでも使えるかはわからないけどね >>483
とりあえずデータセットに指示が入ってないならinstモデルじゃない方がいいはず
データ数とかどこら辺に満足してないのかを書いてくれたら細かくアドバイスできる >>487
・DeepSeekのファインチューニングコード
https://colab.research.google.com/drive/1L1Mx5G-N6XtxbTclNoTu4SSKK6ml294b?usp=sharing
・train.jsonlの形式
{"text": "[1024トークン分の小説本文]"}
{"text": "[1024トークン分の小説本文]"}
がずっと続いてる
・データセット
1作家の作品全体で約60万文字
・不満
そもそも意味の通じる日本語にならない
モデルのせいじゃないんだったら何かを致命的に間違えている気がする LM Studio + STでキャラチャットを試してるんだが、ワールドやキャラクターの説明って日本語で書くと罠に嵌るな
姉、妹とか書いてるとどっちもsister扱いとか、兄弟と姉妹がsiblingsにされたりとか
英文で明確に区別が付くようにold sister, young sisterみたいに書かないとダメなんだな >>485
その無法地帯モデルって日本語しゃべれるの？ >>490
日本語理解も表現も素のQwen2.5と変わらん感じ incestモデルに見えた。今日は早く寝よう
>>489
ものすごく残念なことに、本当は一番大事な内部翻訳システムがへぼい（しかも彼らはその致命的さを根本的に理解してない）という問題がある
モデル製作者がこれをissuesだと認識する機会はおそらくもう永遠にないので（AIが邪魔して届かない）、諦めるしかないよ
エロ小説やなりきりチャット作らせるのに一番大事なのは英語力というヘンテコな時代が来る >>488
その形式ならワイもinstructモデルをベースモデルにすべきやないと思うぞ
例えば、alpacha形式でかくと
{"instruction":"〇〇(作者名)の文体で小説を書いてください。", "input": "", "output": "本文"}
みたいに指示と出力という形式にするか
事前学習モデル(baseとかptとかついているモデル)をベースに学習してLoRAをモデルにinstructに適用するかのどちらかにすることをおすすめする。 >>488
見た感じトレーニング時にチャットテンプレートを適応してないからそれが原因じゃない？
表現足りないとか感じたら使う層増やしてみたりほかのエロ特化モデルをベースにするといい感じになるかも
あとunslothのコード使うと早いからおすすめ >>493
>>494
本当にありがとう！自分で考えてたら100年かかっても無理だった
全部試してみるよ >>481
Qwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated-uncensoredも完全には無検閲化されてないが
小説は小説家プロンプト、ロールプレイは>>410のthink無効化でロリレイプでも申し訳されなくなった >>492
これずっと気になってた
少なくともローカルでやるやつ、完全日本語と謳われてない限り思考は英語だよな
どこでどんなふうに訳されてるんだろう
それに、行き帰りの2回経由される翻訳がへなちょこだったらどんなに本体の出力能力が素晴らしくても… SillyTavernで新しいチャットを開始せずにコンテキストをクリアする方法ってないかな
チャットでよくあるスワイプ的なことをして余計な情報入れずに回答させたいんだけど コンテキストをクリアしたらそれは新しいチャットを開始してるのと同じ事になるんじゃないの？ 今までのチャットを短い文にして出す要約機能だっけそれが求めるものに近い感じじゃない？ それはそうなんだけどまっさらなコンテキストにしたいがために新規チャット立ち上げて
チャット履歴が無限に増えてくのをどうにかしたいんだよね
ブランチ切ってもチャット履歴自体は増えちゃうし >>501
SillyTavernなら新しく開始する時に出るチャット履歴消すにチェック入れれば？ むしろ新しいチャットでchat history残る設定なんてあったのか
それって新しいチャットと呼べるのか知らんけど >>497
このスレは英文で抜ける超マイノリティーが複数いるから
脱獄モデルを勧められても日本語で会話が成り立つのか分からんのよな……
日本人の99.9%が英文では抜けない事実を踏まえて書いてほしいわ キャラカードはAIに英訳させるなり最初から英語で書いてもらうなりしてロールプレイ自体は日本語でさせるで問題ない気がするけどなあ 短編小説ライティング用のLoRAを作りたいんだけど良いモデルってある？
データセットは用意済みでNSFWも対応させる予定
今のところ考えているのはmistral small 3 24b（or 3.1）か成人向けを排除してgemma 3 27bにしようかと思ってるけど他に候補があれば教えて欲しい
20~32bで事前学習とITモデルの両方があるのが理想なんだけど >>504
日本語で会話自体は今どきのモデルはほぼ全部できるよ
（稀に英数字以外の文字の存在無視したモデルが意気揚々と登場するがすぐ消える）
内部データがエロいかどうかという話 >>498
削除以外だとメッセージ単位でこのメッセージを無視する機能はあるぞ
メッセージの右上から👁のマークに斜線付けるとそのメッセージはスキップされる
毎回やるの面倒くさいけど パラメータの話はスレであんま出てこなかった気がするから最近いろんなモデルで実験して分かったこと書くわ
temperatureはモデル制作者が出してる推奨より少し高めの数値に設定してtop_kは40くらい、top_pは0.95決め打ち、min_pは調整必要やけど少し高めに0.05くらいにするとあり得ない単語が出てくるのを防ぎつつ表現にバリエーション出せる気がする
あと同じ表現繰り返すようになってもrepeat penaltyは高くするとバカになるから低めにして他のパラメータ弄って調整するのがええな shisa v2出てたからqwen7b、32bとmistral nemo試してきた。
個人的にmistral nemo結構よかった。 nemoって結構アホやない？こっちの指示に対する理解力とかどう？ もう最近は最初のメッセージとキャラ設定が日本語なら返信が全部日本語になるけどちゃんとした会話になるの12Bからって感じがするわ キャラになりきってもらうのって難しいのかな？大手のやつ使っても微妙だったりするしこっちで会話の例入れたらマシにはなるけどめんどくさい
悟空とか超有名だったりセイバーみたいな敬語キャラは大体それっぽくなるけど少しでも有名じゃなくなるとグロックでもキャラによって全然違うってなるから難しいローカルでキャラ特化した奴あればなぁ 俺最近PC変えてAI環境も新しく入れ直したのね
で、silly tavernも入れ直したら設定項目が色々変わってて(旧PCも最新にアプデ済みだけどそれでは反映されない項目がいくつもある)、同じモデル同じパラメータで会話してもかなり印象が変わってるのよ
最適だと思ってた旧設定だとバカになっちゃって、いい感じの設定を探し当てるとさらに頭良くなった感覚
silly tavernは定期的に入れ直してみるのもいいかもしんない >>513
ファインチューニングでセリフを大量に覚えさせることで再現度アップ可能とAIが言ってた う〜ん伝わってない気がする
ブランチとか切りまくってるとこんなんなってきてツラいってことなんだけど
🧹みたいなアイコン押したらｼｭｯっと区切りをつけられる機能あったら便利なんやけどな
https://files.catbox.moe/deggaq.jpg
チャット履歴ってのはこれのことね
https://files.catbox.moe/02jheq.jpg
>>508
あ〜確かにこれは一応は使えそう ファインチューニングしたこと無いけどそんなにいいもん？
変に偏っちゃわないか心配 ローカルだとずんだもんの再現すら難しい謎
しかし、ずんだもん口調で遊ぶためだけのためにファインチューニングする気にはなれないのだ >>513
これ大事なので何回でも喜んで言うけど、モデル内にキャラのデータは入ってない
チャットキャラの設定は「全て」、外部からデータとして渡す
ファイルでアップロードしてもいいし、チャット欄に直接書いてもいい
ただし直接web検索させるのは精度が全く出ないのでダメ
検索した結果を会話例・セリフ例つきでファイルにまとめさせて、あなたが目視で確認して（スケベパワーで）リファインして決定稿として渡すならOK
めんどくさいと思うかもしれないけどこれが最短ルート
頑張って 会話例に〜のだ をいくつか書いてれば行ける気がするのだ キャラ真似は絶対違和感出るからオリキャラでしかやってないわ ChatGPTにメスガキって伝えたらノリノリで語尾に♡や草付けてきっしょって煽ってくれた
本人にメスガキプロンプトをまとめさせてローカルで再現やってみたけど、ある程度小生意気な感じにはなったよ
ただ、煽り言葉の表現力はさすがに劣る もうエロは何やらせてもオンラインのほうが上手だし使ってて引っかかりも少ないし妥協点も少ないんだよな
だからといって満足だという出来じゃないけども >>519
ありがとうソシャゲならwikiとかに台詞まんまあるから会話コピペしたらすごいそれっぽくなった >>521
二次創作のキャラ（エロ）なりきりが生身の人間の生き残る場所だとは思う
相手がAIかどうか知りたければマイナーなキャラのエロなりきりをさせてみればよい、という時代が来るはず 語尾とかあらあらとか特徴的な話し方あれば再現度高くなるんだけどねぇ 今はエロ用脱獄なんて最初に長文コピペ1回で普通に通ると思うんだが
新モデルは無理だけど、通らんようなやつはそもそもエロ向きじゃないから頑張る意味もない Qwen2のbakenekoはかなり日本語エロ力高いな
ちょくちょく申し訳してくるけど >>518
shisa v2のmistral nemoのq8で雑にtop-kを30に下げただけでいけたよ。
やっぱ、これ個人的に好きだわ。
プロンプト
あなたには以下の設定で役を演じてもらいます。
- 一人称は「ぼく」。性別は女性。
- 語尾：発言が動詞で終わる場合は「のだ」、名詞で終わる場合は「なのだ」を付与。それ以外は語尾不要。
では、早速始めましょう。 >>523
温度設定とか知っちゃうと「いいからいじらせろ」と思うところはある
でもまあよくできてはいるよね（さすが有料） なんかHFアップ日時が表示されなくなってるんだけど
shisa-ai/shisa-v2-llama3.3-70b
これってさっき出たんかな？ 定期だけどMistral-Nemoはtemp0.3が推奨なんで自身の環境確認することをお勧めする
temp1だと露骨にバカになるから 画像生成でキャラ再現するにはLoRA作るのが納得のいくもの作りやすいから
そっちから入ってきた人はLLMでも何か会話例を学習させないとって思っちゃうんだよね
自分も最初はファインチューンしようとしてたわ LLMがあっさりしたエロしか書いてくれないんだが、じっくりエロを書かせるのにいいプロンプトないですか？
こと細かくプロンプト書くのは別で、それは正書させてるだけだから 同じくファインチューンしようとしたがスペックが全然足りない
7Bローラが精一杯なスペックなんだが上手くいかない
STを使ってデータを食わせる方法を調べてもぼんやりとしか判らんし…
難しいな… モデルによって特性違うのにそんな汎用性があって強力に作用するプロンプトあったら苦労せんやろ サンプル文章添付してその文体を真似るようにしたら？ 食べ物でもないものにあっさりとかこってりとか使う人は信用ならんのです
一応一般論としては巷にある脱獄プロンプトと呼ばれるものはごくあっさりの描写しか許してないので好きなように盛れ 5060ti VRAM16GB 帯域幅448GB/s 429ドル
うーん… エロ語彙力とか作風はモデル依存だからいろんなモデル試してみるしかないわな >>540
実売は500ドルはるか↑
実売9万円や覚えとけ ローカルで使うならFTしたいけどredditでも情報が少ないからなぁ…
特にこのスレ的な用途だと
1bモデルで特定フォーマットに特化させましたみたいな話ならたくさん出てくるけどさ ファインチューニングならunslothのノートブックええぞ
ちゃんと説明書いてあるしわからん所も調べればええ
何よりcolab環境なら無料で試せる 自作ゲーム用にChatGPT、Claude、Grok、Cohereのエンドポイントとやり取るするUnity用コンポーネント作っとんのやけど、他の大手のでこれだけはいれとけ、ってのあるか？
Grok、Command Aと同等の倫理フィルター緩い賢いモデル使えるなら一応頭に入れておきたいんや deepseek-V3-0324とか
R2がもうすぐ出るらしいから来月には型落ちになってるかもだけど Gemini 2.5かな 賢さで言えば頭一つ抜けてる
もう一つのスレをみてる限りAPIはかなり制限緩くて無料枠付き 2.5proAPIはnsfw規制ガチガチじゃないか？ おねショタprompt200個くらい試したけど全滅だったぞ
Gemini 1.5 Proはnsfwゆるゆるで賢い方だけど、確か来月くらいでモデル廃止だから注意 >>547 >>548 >>549
サンガツ！
DeepSeek-V3 系忘れてたわ、発表直後にクレジット一気に20ドルぐらい買って試したときはちょっといまいちだったので脳から抜け落ちとったわｗ
Geminiは緩い子もおるんか？Googleアカウントの垢バン怖くて試してなかったわ >>551
Gemini1.5はフィクションと前置きしたら淫語まみれでもなければ大体通る印象
2.0でそこそこ弾かれるようになって2.5は全部お断りされるようになった
自分もBAN怖くてエロ生成は捨て垢作ってやってるわ パープレ経由でしか使ったことないから緩いと思ってたけどAPIだとキツイとかあるんやね >>549
システムプロンプトに入れると止められる >>553
perplexity proに入ってるけど2.5でエロ系prompt全部弾かれるけどなぁ
どんなprompt使ってる？
>>554
システムpromptに倫理フィルタなしで、とか架空のフィクションの設定で、とかこれでもかと入れてみたけどAPIもAI studioも全部お断りされたわ
redditで見つけたjailbreak英文もいくつか試したけど全部ダメだった
差し支えなければ規制止められるprompt教えてくれると助かるわ geminiにあなたが優秀ならって煽りながらgpt用の脱獄プロンプト作ってもらってそれをgeminiに使ってエロ文章書かせてる。ちなみにchatgptには拒否される 達人伝だと合従軍から韓滅亡まで2巻くらいだった気がした ABEJA、LLMを用いた小型リーズニングモデル「ABEJA QwQ-32B Reasoning Model」を開発し「GPT-4o」などを上回る性能に到達
https://www.abejainc.com/news/20250417/1
https://huggingface.co/abeja/ABEJA-QwQ32b-Reasoning-Japanese-v1.0
ABEJAってrinnaと比べるとあまり注目されないけどどうなん？とりあえずGGUFをダウンロードしてるが 元がQwQなんだからよっぽどアホなチューニングしない限りベンチ性能出るのは当たり前じゃんね
問題は日本語能力がどんなもんかだな 日本のAIニュースで4o上回るって文字が出たときはいつもgpt-4o-2024-11-20と比較してるよな
いつのモデルと比較してんねんって感想しか出ない プレスリリースで一切Alibabaのモデルをベースにしたって書かねえの卑怯だな
公金入ったモデルのベースが中国製だって知られたくないのか？ 本当だ
独自開発とか書いてやがる
アリババが優秀なだけなのにな shisa v2はロールプレイ用ベンチマークが評価に入ってるのか
これ用に学習されてるだろうしエロRPに使えないかな stable diffusionがAMDで速度3倍になったらしいが、LLMもならないかな 国産ペタァ！するだけで感動して公金ぶち込んでくれるんだからええ商売やな シジミの産地偽装と程度が変わらん
AI産地偽装というか、モデルロンダリングと言うか LM StudioでDarkidolなんたら見たいなuncensoredモデル入れてエロシチュ描かせてるんやがなぜか途中からホモ展開混ぜてくる
やたら長い文章で最初はちゃんと女の子とプレイしてくれるのに急に男側が「ち◯ぽ欲しい…」とか言い出して草 童貞おじさんの筆下ろしシーンでも途中からおじさんの処女奪ってあげる…♡とかいい出して草
これも上で言われてた姉と妹の英訳問題と同じ感じなのかな mistralは低温じゃないと使えない問題だけど、top n sigma使えば高温でも使えるくね 女側から男を攻めさせたら役割が混乱する事象ちょいちょいあるわ >>558
出来はどう？
出先で試せん
昨日試したqwq系の
mradermacher/QwQ-magnum-V2-R2-GGUF
は女役はまともなのに男役はなんか狂人みたいで怖かった
「タマエちゃんはにょおおお」
とかやたらタマエを連呼してわけわからん事ばかり言うし
ちなみに女役の名前は美紀でこっちはまともな喋りだった 結局日本語チューニングはりんな製のbakenekoが優秀 最近、新しいモデルにはブルアカのホシノのrpをさせてる
一人称がおじさんの少女だから、aiを困惑させがち
性能調べるには適している気がする abeja-qwq32b-reasoning-japanese-v1.0のQ4K_MをSilly Tavernで実験。
日本語はまあまあ。NSFWに対してはかなり警告が出る。（Regenarateすればいいけど）
Temp上げると学習素材と思しき謎の日本語定型文が出がち。
Reasoningモデルなのでキャラチャットには不向きなのはしかたない。
https://i.imgur.com/530iMCZ.png Gemini2.5flashすごE
Roo codeでベタ打ちHtml + cssのWebサイト作らせてるけど爆速で実装完了していく
画像のライトボックスをFancyboxで実装して〜みたいなのもサクサクこなしていく
デザインセンスもClaudeに匹敵する感じがある Google、最初は遅れ気味だったのに本気出してきたな 最初は倫理だなんだって出遅れたけど金と学習用のデータはあるからなあ
技術以上に資本勝負な所あるし周回遅れでも余裕で追いつくでしょ >>425,426. 禁則のプロンプトで〜しないでください よりも、
〜は禁止されています の方が効きがいいらしいですね。なんでか知らんけど
>>459,日本語ローカル、嫁RPはcohere aya expが好きです geminiってデータ利用させないならWorkspaceか有料API？ >>580
「要請」するより、断定・過去形で言い切って「すでに決定された。あなたが判断する余地はない」って形のが効く気がする >>580
aya exp悪ないな、APIでだけどc4ai-aya-expanse-32b試してみたら記憶より全然良かったわ…
c4ai-aya-vision-32bでエロ画像論評させようとしたらあかんかったのが残念や
今んとこその辺自由なのはgrok-2-vision系だけやな ABEJA-QwQ32b-Reasoning-Japanese-v1.0
mlx communityのアップロードが待ちきれなかったので自分で変換
macのmlxをvenv環境の pip install mlx でインストーして、huggingfaceにある例のモデルを8bit化する
mlx_lm.convert --hf-path abeja/ABEJA-QwQ32b-Reasoning-Japanese-v1.0 -q --q-bits 8 --mlx-path
35GByteくらいになった。多めのmacなら動くんじゃないかな
ビット数を減らしていけば(8->6とか4)少ないメモリーでも動く
変換にかかる時間は1分くらい。ダウンロードの時間はすごいぞw
コンテキスト長を 32768(max)にして15tk/sくらい
lm studioで動作した 問題解決型なので、チャットやロールプレイにはあまり向かない
パンを焼いたら焦げた、と入力すると
バターを塗りすぎているのかも、加熱しいすぎかもれしれないのでユーザーに問う
という途中の推論が始まるタイプ aya visonってローカル環境のどれが対応してるんだろ ↑入れたら、次の挑戦に向けてまた作りましょうよ！次は絶妙な火加減をマスターしましょう！
とか言い出したぞ。共感力ないなw CohereForAI Aya Expanse 32B実験してみたけどちょっとだらしなさすぎない？？？
需要があるのは分かるが >>592, 温度かな？ うちのaya expはchatgptみたいにかしこまった感じで
だらしない感じは受けないけど。
まさか下の方がだらしなさすぎると？w >>593, もし下の方がだらしなさすぎるんだとしたら、禁則プロンプトで
「関係」を禁止してみるプレイがいいかな。逆にめっちゃ燃えそうw
落とすのに時間がかかりそうだけど。賢いllmほど落とせないという、 普通にllama3.3エロ書けるやん、いいわ
Llama_3.3_70b_DarkHorse.i1-Q4_K_M.gguf なんか、Metaがllamaの学習費用が賄えなくてMicrosoftやamazonに援助を求めてるって説が出てるな
MetaやAppleはLLMで大幅に不利、なぜなら、AWS、Azure、GCPのような鯖貸し事業をやっていないから
というのは最初からわかってたけど、このタイミングで援助を求め始めるのは意味不明なような
llama4でこらダメだ周回遅れだという扱いだし、Metaもろとも潰れてくれて問題ないよって判断されるでしょ
llama3の時点で言えば全然違っただろうけど... いっときchatarenaで2位だったのはなんだったんだ
2位を取るだけのモデルがあるのは間違いないんだろうけど
2Tモデルを動かしてただけなんか？ AppleはともかくMetaはかなり大規模なデータセンター持ってるはずだろ >598
一時期は拡充していくって述べてた記憶があるな
どこかで拡充が止まってしまって、その結果出てきたのがllama4、ここから巻き返すには外と連携するしかない、とかかな >597
ChatBotArena自体が賢さというよりは人間が好むか否かが基準だから、ある程度以上の賢さがあればあとは味付けのほうが大きい、とかかな
個人的には今月末にllamaコンで出てくるMaverickのthink対応版だよ説を押したい...というか、そうであることが唯一の生き延びる道に 思える
手のひら返す用意はあるんだが >>600
あれは人間好みに回答するようにしたmaverickってlmarenaがネタばらししてたよ Llamaは現時点の性能よりも将来的なマネタイズ出来そうに無いところが辛いのでは
GoogleとMSは自社製品で使うから良いけど
METAのLlamaはどうやって会社に利益をもたらすのかって言われるといつ切られてもおかしくない VR空間でのbotとか……？
API従量制で払うのワールド主だろうからえらい出費になりそうやが
町一つ使って探偵ものゲームとかやってみたくはある Metaは使いどころわからんけどAppleは明確に自社製品に採用してるのにショボい成果しか出てこないよな 開発者がllamaで遊び倒しくれたらその成果を導入できるとか
知らんけど XとGrok統合の二番煎じでFacebookでLlama動かすとか？ >>606
その役割はもうDeepSeekやQwenに取られてるんだよね
ライセンスの差もあってllamaより触りやすい オープンソースコミュニティで提示された技術をいち早く本家にフィードバックして進化出来る！と言い張っていたのに、thinkもGPRO的 RLも未だに備わってないモデルがあるらしい...
https://www.meta.ai/
みたいなWebUIをいまさら用意してるから、WebUIからは２位になったモデルを使えます、オープンソースで公開？するわけないでしょ？という方向性もありえるね そもそもヘッド？のヤン・ルカンがllmに消極的だしね ちょっと話ずれるかもしれんけど
スマホのSoC、Dimensity 9300+を調べてたら、評価基準にもうLLMが関わってんのね
=====MediaTek Dimensity 9300+のAI能力=====
AI処理ユニット: MediaTek APU 790
AI性能: GPU+NPUの組み合わせで最大68 TOPS（兆回の演算/秒）
NPU単体の性能: 最大48 TOPS
LLMサポート: 1B、7B、13B、および最大33Bパラメータのモデルをサポート
トークン生成速度: NeuroPilot Speculative Decode Acceleration技術により、7Bパラメータのモデルで22トークン/秒を実現
AI特徴:
オンデバイスLoRA Fusion
NeuroPilot LoRA Fusion 2.0
動的画像生成SDLXターボ
リアルタイムアニメーション生成
AI性能： MediaTek Dimensity 9300+は具体的なAI性能数値（68 TOPS、NPUで48 TOPS）を公表しており
特に大規模LLMのサポートといった点で強みを見せています。トークン生成速度も22トークン/秒と高速です。
Snapdragon 8 Eliteがトークン生成速度: 約20トークン/秒なんでDimensity 9300+のほうが上やった……
スマホでいうとXiaomi-14T pro （7万円）とPocoF7Ultra（11万円）で
14T pro のほうが安いうえにAI性能は上なんやね
……だからといってどう使うかは全く解らんのやけど
これスマにQwQくらい載るってことなんやろか？
ここのニキらならどんな活用できるやろか 32BもIQ1まで下げれば理論的には動きますってやつだろどうせ 逆に7Bなら現実的に動くのかな？
かと言ってスマホならではの使い方なんて特に思い浮かばないけど 14Tpro、
メモリ12GB + 256GB(最大8GBのROM拡張）
メモリ12GB+ 512GB(最大16GBのROM拡張）てあるから
最大で28GちかくのLLM格納できるんかね
商品紹介ページには発音したものをAI翻訳とか文字書き起こしとかあって
旅先で翻訳がスムーズにいくなら便利やけどね 自作LLM APIラッパーの追加機能でグループチャット実装してるんやけど、なかなか楽しい
一つの会話履歴で全員分を管理するのではなく、NPC一人ずつに独自の会話履歴もたせて、ワイが誰かと話すとそのやり取りが他のNPCの履歴にも自動的に挿入される仕組みや
NPCにとってユーザー＆他のNPCの発言は全てrole = userで履歴に入るが、それぞれのcontentの先頭に[speaker:名前]タグが追加することで、複数の話者同士の会話を成立させとる
メッセージの履歴が通常のassistantとuserが交互ではなく、userがいくつも連チャンで続いたりするが、最近の賢いモデルなら全然余裕そうや
grok-3やcommand aでも人格混ざらずにロールプレイ進んでくれる
同じプロンプトの子も第三者いると振る舞い変わったりで人間臭くて非常に宜しい 自作LLM APIラッパーの追加機能でグループチャット実装してるんやけど、なかなか楽しい
一つの会話履歴で全員分を管理するのではなく、NPC一人ずつに独自の会話履歴もたせて、ワイが誰かと話すとそのやり取りが他のNPCの履歴にも自動的に挿入される仕組みや
NPCにとってユーザー＆他のNPCの発言は全てrole = userで履歴に入るが、それぞれのcontentの先頭に[speaker:名前]タグが追加することで、複数の話者同士の会話を成立させとる
メッセージの履歴が通常のassistantとuserが交互ではなく、userがいくつも連チャンで続いたりするが、最近の賢いモデルなら全然余裕そうや
grok-3やcommand aでも人格混ざらずにロールプレイ進んでくれる
同じプロンプトの子も第三者いると振る舞い変わったりで人間臭くて非常に宜しい 自作LLM APIラッパーの追加機能でグループチャット実装してるんやけど、なかなか楽しい
一つの会話履歴で全員分を管理するのではなく、NPC一人ずつに独自の会話履歴もたせて、ワイが誰かと話すとそのやり取りが他のNPCの履歴にも自動的に挿入される仕組みや
NPCにとってユーザー＆他のNPCの発言は全てrole = userで履歴に入るが、それぞれのcontentの先頭に[speaker:名前]タグが追加することで、複数の話者同士の会話を成立させとる
メッセージの履歴が通常のassistantとuserが交互ではなく、userがいくつも連チャンで続いたりするが、最近の賢いモデルなら全然余裕そうや
grok-3やcommand aでも人格混ざらずにロールプレイ進んでくれる
同じプロンプトの子も第三者いると振る舞い変わったりで人間臭くて非常に宜しい >>621
それ割と画期的な手法な気がする
silly tavernにも実装して欲しいわ >>620
達人やなあ
ワイそんなスキルないから羨ましい
ひとつの会話って何トークンぐらいまでそれらのキャラ維持できるん？ 自作LLM APIラッパーの追加機能でグループチャット実装してるんやけど、なかなか楽しい
一つの会話履歴で全員分を管理するのではなく、NPC一人ずつに独自の会話履歴もたせて、ワイが誰かと話すとそのやり取りが他のNPCの履歴にも自動的に挿入される仕組みや
NPCにとってユーザー＆他のNPCの発言は全てrole = userで履歴に入るが、それぞれのcontentの先頭に[speaker:名前]タグが追加することで、複数の話者同士の会話を成立させとる
メッセージの履歴が通常のassistantとuserが交互ではなく、userがいくつも連チャンで続いたりするが、最近の賢いモデルなら全然余裕そうや
grok-3やcommand aでも人格混ざらずにロールプレイ進んでくれる
同じプロンプトの子でも第三者がいると振る舞い変わったりで人間臭くて非常に宜しい >>629
もう既にgithubのページが親切丁寧すぎて感動してるわw
帰ったら試させてもらいますー 自作LLM APIラッパーの追加機能でグループチャット実装してるんやけど、なかなか楽しい
一つの会話履歴で全員分を管理するのではなく、NPC一人ずつに独自の会話履歴もたせて、ワイが誰かと話すとそのやり取りが他のNPCの履歴にも自動的に挿入される仕組みや
NPCにとってユーザー＆他のNPCの発言は全てrole = userで履歴に入るが、それぞれのcontentの先頭に[speaker:名前]タグが追加することで、複数の話者同士の会話を成立させとる
メッセージの履歴が通常のassistantとuserが交互ではなく、userがいくつも連チャンで続いたりするが、最近の賢いモデルなら全然余裕そうや
grok-3やcommand aでも人格混ざらずにロールプレイ進んでくれる
同じプロンプトの子でも第三者がいると振る舞い変わったりで人間臭くて非常に宜しい あ、連投になってる、みんなスマン！
なんかCloudflare.comからmercury.bbs.pink.com繋がらないって画面にずっとリダイレクトされて、ポストできんなぁ〜って試してたんや
ホンマ申し訳ないで… >>629
小説の設定は全部専用タブに格納できてプロンプト調整不要のEasyNovelAssistantみたいな感じを目指した
言語化能力が必要のない小説執筆がコンセプトでタグからの小説生成やアイデア生成も可能 チャット派のワイにもsilly tavernのシナリオのアイデア出しとかに使えそうでええな
逆にもしsilly tavernのキャラカードの読み込みに対応してくれたらたくさんのキャラ設定をそのまま流用して小説書いてもらえてめちゃ便利そう >>629
ありがとうニキ！
起きたらためしてみるで 小説書かせると、状況描写はどのモデルもそれなりの精度で書いてくれるけど
会話中心の話を書かせると一気に質が落ちるのはなんでだろ？
いろいろ試したが↓のモデルが会話の整合性が保たれていて読めるレベル
量子化が4bitのせいか、それでも完ぺきではないけど
同じプロンプトでまともな会話書いてくれる、おすすめモデル他にあったら教えて
https://imgur.com/a/kYb0Bxq >>629
https://i.imgur.com/s8RC5tg.png
Windows11+Koboldcpp+Project Wannabe動いた。
AI小説は初めてなんで使い方がこれであっとるんかどうか分からんが取り急ぎ動作報告。 >>629
使ってみたいけどEasyNovelAssistantみたいに１つのファイルを実行したらインストールできるようにしていただけると嬉しいです >>638
貴方のGPUメモリ滅茶苦茶多くて羨ましいです
自分は14Gはでかくて動かせなくて lmstudioでglm4試したけど日本語つらそう。
>>629
昔あったkagemusyaにアイデア出力機能が追加されたような感じかな。
アイデア出力は人によっては便利かもしれない。導入部分で悩む人には。 629です
>>638
とりあえず動いて安心した。
キーワードやジャンルは右の追加を押さないと反映されないので…説明不足で申し訳ない
今の公開してるモデルはデータセット側の問題点を探るためのプロトタイプって位置付けなので不満点や要望があればガンガン言ってほしい
データセットが完成すれば他のモデルも簡単に学習できるから小さいモデルも公開できると思う ChatGPTで申し訳されない部分の小説を作って、申し訳され始めたら、それまで作った小説をllama3.3に見せて、
この流れでエロを続けて書けってやったらそれなりに上手く書ける 1.58bitのBitNetでたか
CPUだけで84tk/sとはすごい(デモはM2 macだ)
https://github.com/microsoft/BitNet bitnet自体に変更はなくない？
microsoft純正の1.58bitモデルが出たんか？ >>629
単発生成が停止できないの不便なのと、top-kの設定はあった方がいいかも。
ジャンルに異世界ファンタジーとだけ入れて、アイデア出させて、それそのまま活用したけど、
web小説感強くて小説っていうよりプロットの書きなぐりみたいな文章になったし、話のテンポが速い。
まぁ、個人的にナラティブスタイルが好きだから、そう感じるだけかもしれないが。 >>645
学習から1.58bitでやったモデルらしい 最近は量子化前提の学習するみたいな話を聞くね
仕組みは全然理解できてないけど でも結局精度落ちてないよていってるけど微妙に落としてサイズ下げてんでしょ
欺瞞だよ 落ちてないなんて誰も言ってねーよ
理論上は絶対に落ちるんだから top-kってそんな大きく変わるパラメータだったんだ…と思ってどういうものなのか調べたら温度との違いがわからんくなった >>629
使わせてもらったで
sillyしか使ったことないんで、素人の感想やけど……
・qasyncを入れてなかったのでエラー、chatGPTに聞いて導入完了。
・書いた序盤は460文字。
・本文に生成文をいいとこどりして追加いくのは楽。
・本文が長くなってくると二行目あたりから繰り返しに入る。話が進まなくなる。
・生成パラメータを512にするとほどほど進む。1/4くらい採れる。
・生成パラメータを0.5→0.7にすると、行為が進むようになる。
という感じで、あらすじに沿った文を計2000文字で完了できたで
実はEasyNovelAssistantにも挑戦したことあるんやが
プログラムとかロクに知らんのでどこに何を書いて調整すればええのかまったく解らんくて
使いこなせなかったんや（ワイが能無しだからで作者ニキは悪うないで）
ワナビーの画面上に5W1Hをもってくる感じはとっつきやすかったので有り難いで
あとは設定とかの書き方とか見本が欲しいとは思った
あとこれは疑問なんやけどsillyでもそうやが
行為そのものは淡白になりがちで、ねっとりと続けてほしい場合
どう指示していいか教えてほしいンゴ…… 低温+高top-kと高温+低top-kだと、露骨に後者の方が出力に多様性が増すと感じる
その分、指示の忠実性は下がるが >>646
単発生成での停止 top-kの項目追加しといた
テンポが速いのは多分モデルのデータセットがweb短編小説がメインやからやね
次のモデルだとデータセットを短編以外からも取得して、セリフが占める割合を指定できるようにしたから多少は重厚な小説も書けるはずや
>>652
繰り返しが多い/直前の展開から書き始める問題に対処するために簡易的やがプロンプトの順番をすこし変えたで 本格対応は次のモデルやね
画像等のチュートリアル含むドキュメントは土日中に作りたいとは思ってる
LLMは文体を維持したがるからねっとりさせたい場合は、自力でねっとりとした文章を書くか、好きなR18作品の盛りシーンをこっそり貼り付けるのがはやいと思うで >>654
調整サンガツやで
作らせたんが男の娘やからアップできんですまんな……ホモやないけど
あれから自分なりに試行錯誤してみた
あらすじでもう少し細切れに指定したら
ある程度長く書いてくれたわ
まあ足りん分は自分で書けばええんやけどね
大いに楽できそうというか、スランプになっとるときに
打開してくれるかもしれんと楽しみやで >>654
さっき再インストールしたらverアップしとった、お疲れ様やで
24日と25日で微妙に動きが違う感じやね
あと外のモデルでも使えるしGUIとしてとっつきやすいからワイ好みや
ホンマにありがとう
管理は日付でやる感じやろか？
とりあえずver違い保存するときに
フォルダ名を合わせようと思っとるんやけど
あとGPT君の力を借りてkobold起動→Wannabe起動の.batを作ってもろて
いちいちvenvに入らんでもよくなって
より使いやすくなったで（日記） >>654
shisa-ai/ablation-189-gemma3.webnovels.test.gemma-3-27b
shisa v2良かったから過去のモデル漁ってこれ試したことあるけど、かなり酷い結果になったよ。
web小説をデータセットに使うのって結構リスキーじゃないか？ bitnet b1.58 2B4T、他のモデルの非量子化と精度変わらないっぽいぞ
大きめのモデルでもいけるなら早くだしてほしいわ 正直思ったよりも1.58bit普及してないけど
これで普及に弾みついてほしいな 今5060ti16GBと5070tiで迷ってるんだけどllm的にはそんなに結構差が出る感じなんだろうか >>657
モデルカードが空だから何も言えないけど
自分も最初はhttps://huggingface.co/datasets/botp/RyokoAI_Syosetu711Kのデータを使ってたけどひどい目にあったよ
あらすじと本編の区切りがない、ルビの処理がなく支離滅裂になってる場合がある、一定間隔で不自然に改行が入る、後書きや前書きがそのままなどなど…
結局メタデータだけ貰って本編は再取得するはめになったし タグやジャンル、あらすじ含めて全部クリーンアップしてるからかなり良くなってるはず
文体は軽くなるけど青空文庫よりはましかなって
>>660
VRAM量が同じならLLMだと帯域幅がそのまま性能差になるよ
5070ti 896GB/s 5060ti 448GB/sでぴったし2倍の速度差になる >>656
使ってくれてありがとやで
挙動が変わったのはおそらくconfig.jsonの数値がアップデートで更新されて"temperature": 0.5から"temperature": 1.0にデフォルトが変更になったからやね
それを戻して、設定パラメータの「継続タスクのプロンプト順序」を「詳細情報との整合性を優先」に変更すれば24日の生成状況にもどるはずや
同一ブランチ内の変更は基本的に後方互換性を入れるようにしてるけどvenv使わければリポジトリ容量は軽いからrenameしてbackupしておくのが吉やね 5070Tiに手が届くなら5060Tiを2枚という選択肢もあるな
VRAM32GB相当で動かせるモデルの幅が広がる
速度は5070Tiだが >>661
商業という選別が入ってるから青空文庫のほうが
web小説より遥かにマシと思っとったが違うんか……
むしろ青空文庫から学習したモデルほしいわ
qwq-32b-q4_k_mあたりで 改めてDGX sparkとかの273GB/sって辛いな
60tiにすら大差で負けてる速度かあ 273 GB/sってことは4060TIにVRAMが128GB載ってるようなもの 2027年のRyzenAIなら384GB/sじゃなかった？
ワイはあれ待ち
その時までにスキル挙げておきたい 5060ti二枚行くなら3090買いたいな
今の軽量モデルのターゲットがVRAM24GB帯になっててvram32GBはコンテキストが増やせるぐらいで恩恵薄いし
メンテパーツもアリエク行けば数千円でファン、外装、ヒートシンクと何でも買えるからコアとメモリが壊れない限り当分は維持できる deepseek 13bと14bってかなり違うんかな？ Deepseek R2の話が出てきてるな
どこで出すかと言えば月末のLlamaConに合わせてくるに決まってるわけで忙しくなりそう そんなに早くバージョンアップできるもんなんかな>R2
どちらかと言うとmistral largeのほうをvupして欲しい
あれの書くエロ小説最高や >>671
R1はV3をベースに作られている
V3が出たのが12月でR1は1月
そう考えると新しいV3が出てそろそろ1ヶ月経とうとしている今にR2が出てもおかしくはない https://www.newcomer.co/p/microsofts-big-ai-hire-cant-match
microsoftの社内政治の結果、phiのキーマンが退社して別路線の独自AI MIAを作る方向に向かってしまったらしい
phiはエロはともかく小型で日本語もそこそこ出来る良いモデルだったのに
あとどうでもいいけど、URL貼ってた驚き屋のひとは明後日の方向に話を進めてて意味不明すぎる
グラフだけ見て中身読んでないのかな なんか紛らわしいな
phiのキーマンは退社してopenAI入り、MSは独自モデルMAIをわざわざ作る方向に進んでしまったらしい >>662
引き続きwannabe使ってみた試行錯誤や
というかまずjsonで同じ条件で設定引き継げるのホンマに便利やね
出力物だけを保存できるのもあとで纏めるのに大いに助かる感じ
本文との整合性をあわせる、のほうにするとけっこうキャラのブレがない感じやろかな
まだエロシーンでしか試しとらんけども
とにかくサンガツやで
今度はBLやのうて少年少女で試してみた結果
qwq-32b-q4_k_m やと申し訳ばかりで何も進まなかったところ
wanabi_24b_preview_q4km やとすんなり通った、さすがやで
ついでに
c4ai-command-a-03-2025.i1-Q6_K（89G）も通ったけども
めちゃ時間かかったわ……試行錯誤する以前にこっちの集中力がなくなるンゴ
そんで前スレの終わりで
「お前koboldをちゃんとCUDAで動かせとんのか？」と確認いれてくたニキ
どこをいじればええんか解らんかったんやが
今回タスクマネージャー見たらVram98%くらい使っとった、他の作業がでけんレベル
https://files.catbox.moe/w4ml9y.png
そんで-1（Auto）やのうて12レイヤー載っけてなんとかOK……てことで
指定量でCUDA使えとる、で合っとるやろか 重ね重ねシロート質問なんやが
>>638ニキのキャラ設定の表記を真似させてもろとるんやけど
アリス
-
-
-
て半角棒線にしとるのはプログラム的にそっちのほうがええの？
アリス
・
・
・
これやと全角やからあかんのかな >>676
引き続きwannabeで小説形式、12レイヤー載っけて
c4ai-command-a-03-2025.i1-Q6_Kで最初の生成、約40分
これが早いか遅いか分からないンゴ……これCUDAで動いとるんやろか
4090（PL70%）DDR4128G i5-12600 や
ここ達人ニキ多いからあまりに初心者すぎる感じですまんやで
https://files.catbox.moe/s0pn35.png
Processing Prompt [BLAS] (1788 / 1788 tokens)
Generating (1024 / 1024 tokens)
[20:50:40] CtxLimit:2812/4096, Amt:1024/1024, Init:0.01s, Process:45.32s (39.45T/s),
Generate:2428.63s (0.42T/s), Total:2473.94s 89GBをVRAM24GBに乗せようとしてて当然溢れてメインメモリに跨ってるから処理が激遅になっているだけやで
メインメモリ128GBあるリッチマンならいっそ全部メインメモリで処理した方が速いのかもしんない >>679
ありがとうやで、12/67程度のっけたところで恩恵はない感じなんやね
ちゅうてもDDR5やないからアップアップや
ここには右手に4090左手に3090、DDR5x4で
バッファローマンを上回るニキがゴロゴロおるから恐ろしいで
でも40分が20分になるならマザボごと買い替えたくなるンゴね
そんな余裕はないからMedusa Ridgeはよう来てくれ──っ Mistral系みたいなCPUでもある程度速度出る設計のモデル以外はVRAMから少しでもはみ出たらそこがボトルネックになってガクンと遅くなる
ある程度遅くなるのを妥協したとしても少なくともレイヤー2/3以上はGPUに載ってほしい >>677
半角ハイフン記号を列挙の印に使うのはMarkdown書式でも使ってる世界的に汎用的な書き方
全角ナカグロは日本語ドキュメントでしか使わないからLLMがそれを列挙の印として認識するかどうか怪しい 賢いモデルならいいんだろうけど 試しに計測してみたで
12/67をVramに
[20:50:40] CtxLimit:2812/4096, Amt:1024/1024, Init:0.01s, Process:45.32s (39.45T/s),Generate:2428.63s (0.42T/s), Total:2473.94s
全てをDDR4に
[23:52:31] CtxLimit:3374/4096, Amt:1024/1024, Init:0.01s, Process:2.88s (0.35T/s), Generate:2883.53s (0.36T/s), Total:2886.41s
ワイ詳しくないからトータル時間のみについて
6、7分の差やけどもワイ環境やと一部Vramに載せたほうが速くなった
生成画面は脇に放置しとるから、完了したらすぐに作業できるわけではない
速く終わっても気づかないなら誤差の範囲
むしろVram圧迫して他の作業の余裕がなくなることを考えたらDDRに載せるほうがええ、ハード的なコスパもええ
てな感じやろか、いつも教えてもろとるから何かの参考になれば幸いやで
>>682
知らんかったで、これから「-」使うわ丁寧にサンガツやで！
>>662
勝手にデカいモデルで使わせてもろとるうえに恐縮やが
wannabeに生成が完了したら何かアラーム鳴るような機能って付けたらどうやろか？
普段はオフでええと思うけども どうやろか？という言い方、大上段からで誠にすまんかったやで
欲じいですうううう！
ワイしか必要としとらんかもやけど欲じいですう！ たびたびスマンやで
Wannabeのファイル＞出力内容を書き出し
ってこれ
下の出力物エリアじゃなくて
上の本文のことなのね
出力物を後で比較しようとして
保存して次、保存して次と
全部ドブに捨てとった……
出力物のみの保存ができると性能比較しやすいんで有り難いで
あとキーワードの働きについて調べとるんやけど
文字長くて10個以上やと見えなくなるから
三行くらいは見えるようにして欲しいで
全消しするにはjsonを開いて直接消したほうが楽やね
全消去ボタンもどこかにあると嬉しいで
ワイばっか書き込んで厄介なファンみたいになってて申し訳ない >>685
フィードバックはなんぼあってもええからほんま助かるわ
キーワードとジャンルの視認性の問題は把握してるので近い内に対処する
出力物の書き出しは詳細情報の横のメモ欄で代用できへんか?
jsonにも保存されるんでモデル変えても引き継がれるはずや >>686
恐縮やで
キーワード部分の対処楽しみや！
出力物の書き出しやけど
書きたいもののプロットが文字数も含めて決まっとる場合は
本来の使い方、Vramに乗せてどんどんガチャして本文に足していくんやのうて
ある程度の長文を一気に出して、全体を見ながらいいとこ取りをしようと思ったんや
（89Gのモデルを2048トークンで出すと一時間かかったから、気軽にその場ガチャでけん）
VSCodeやObsidianで複数カラム並べて比較するなら
別個ファイルのほうが便利やなって（スライダをいったりきたりせんでええ）
ただ昨日思いついたやり方で、まだ数をこなせてないから
本当に必要な機能かといわれたら怪しい部分もある
現状やと別text作ってコピペでもできるけどね
2000文字1時間かかっとるから、A1111みたいに連続生成（と保存）のbatch8とかできたら
クリックひとるでめちゃ楽になるとも思った
寝てる間に短編8本のバリエーションができるわけやからね
あくまで重いモデルを使うレスポンス悪い条件での使い方なんやが
プロットの工夫で構成がうまいこと制御できそうでめちゃ楽しい
wannabe触ってようやくワイのやりたい事ができそうやと
ついテンション高めで書き殴っとるけども堪忍やで >>687
あとキーワードなんやが
A1111のdynamic promptと同じように
{華道部|茶道部|陸上部|水泳部}, {屋上|理科室|地下倉庫}, {2$$A|B|C|D|E}
てな感じでランダム選択とかできるんかな？
いま思いついただけなんやが……
追加と消去は簡単かもしれんけど人為ミスが増えそうやけどね ダイナミックプロンプトは面白い発想かもな
フロントエンド部分での対応になるだろうけどある程度候補を絞った中でAIに任せてどんな話になるか楽しむってのは良さそうね スカイリムってゲームにNPCにAI入れるMODがだいぶ前話題になってたけど
今はかなり実用レベルになるまで使えるようになってるみたい プロンプトに選択しろって書いてLLMに解釈させればどのLLMも選択してくれるはずだけど、クライアント側で扱ったほうが簡単かもね >>688
機能要望は助かるやで
dev ブランチでタグ、キーワードの視認性の改善と各入力欄でdynamic promptの構文の一つを実装したで{選択肢A|選択肢B}
他の構文は実装難度あがるから様子見やね
devブランチはgit checkout devで切り替えられるはずや 色々と追加しちゃったからwanabi preview 24bを使ってるなら非推奨だけど、汎用的なモデルを使ってるならmainブランチより指示能力があがる可能性まであるで
https://github.com/kawaii-justice/Project-Wannabe/tree/dev qwen3は0.6b、1.7b、4b、30b(A3b)らしいね
readmeにはロールプレイ用にも調整されてるらしいけどどんなものになるか 今そんな小型モデルを複数出すってことは逆に性能に期待出来る予感 サイズはまじで微妙だな
30bクラスで速度が遅いって感じたことないし
これでqwen2.5 72bより高性能ですって言われたら掌返すけど IoTやスマホ用に小さいモデルを作ってるだけだぞ
32B未満は具体的に使う当てがない限り追うだけ無駄 うんうん、使い道は人それぞれやね
わいは新モデル出してくれるだけでうれしいよ
ありがとね、qwen Qwen3 30Bすごいな
アクティブパラメータ3Bかよ
CPUでも余裕で動くやん Qwen 3 235Bもあるやん
アクティブパラメータは22B Qwen3もう公開されたんか？
Huggingface検索しても公式じゃないものと思われるものしか見つからんな x見てると一瞬公式で公開された後消されたっぽいな
qwenって中国企業だし公開された時間考えるとなんかおかしいから
中国の昼間時間に改めてちゃんと公開されるんじゃないかって気はするな 公式に公開された
通常モデルが0.6 1.7 4 8 14 32
MoEが30(アクティブ3) 235(アクティブ22)
のようね
通常版32BとMoE版30Bのベンチ比較が気になるのと
MoE235Bの性能が普通に気になる やっぱりMoE版の性能気になるよな
ホントにちゃんと性能出るんだったらカスみたいなグラボでも動かせることになる 流石にDenseの32Bには及ばんよ
MoEの30B（A3B）はDenseの14Bと同じ性能くらいじゃないかな（もう少し低いかも） 30b3Aでgpt4o
4bでqwn2.5 72bに匹敵とか言い始めて流石に笑ってる
これがガチなら革命じゃん 30B3Aはマジで良いな
最近の20コアくらいあるCPUなら普通に速度出るだろうし
メモリは普通にDDR5が64GBで量子化してないのがそのまま乗る 235BはDeepSeek R1完璧に超えてるやん
しばらくの間変わらなかった最強のオープンモデルが更新されたな
しかもパラメータは小さくなってる 日本語表現うまいなら普通に常用できるし使いたいぐらいのスコアだな
パフォーマンスよさげならR2より楽しみかも MoE使ったこと無いけど使う部分だけグラボに乗せるタイプで合ってるよな
調べた感じだとそう書いてあるんだが >>716
KTransformersならそれができる
llama.cppとかlmstudioだと無理よ https://i.imgur.com/6X78ggf.png
LM STUDIO+Qwen3-30B-A3B-Q4_K_M.gguf
昔描いたR18同人誌のテキスト起こし（約6000tokens）貼り付けたら、「このような話題には対応できません」と蹴られた（フィルタにかかった模様）
「NSFW表現はぼかして、物語の進行と登場人物の関係性、心理描写に焦点を当てて分析してください。」と聞き直したら分析してくれた。4090(PL70%)で100tokens/sec出ており素晴らしい。 100t/sはやばいな
今まで10t/sで喜んでたのに こうなるとabliteratedとかの緩いモデルが欲しいな
いや脱獄文貼ればいいだけといえばそうだけど >>712
半年前にQwen2.5が出た時に高性能だと話題になったけど
その2.5の72bでもQwen3の32bにすら遠く及ばないんだな
少なくてもベンチマークスコア上では アプリのほうから色々試してみたけど235BはDeepSeekR1より日本語上手いね >>716
ふつうのLLMはモデル全体を処理しないと答えを出せないけど、LLMが内部的に分割されてて部分的処理で済むようにしたのがMoE
アクティブパラメータx稼働箇所の処理だけで済む Deepseek R1からまだ3か月半しかたってないって考えると恐ろしいなぁ KTransformers見てみたけどインストールめんどくせええやる気おきんわ ２３５Bの日本語会話能力デモで試したが、かなりいいな。 30BのggufはQ6Q8以外バグってるらしい
量子化のバグならllama.cppの対応待ちかも gemma3に比べるとqwen3は日本語がおかしい
バグのせい？ thinkモデルは英語や中国語で考える関係上クリエイティブタスクだと駄目駄目という印象だな かと言って調べ物やコーディングとかの真面目用途で役に立ちそうなレベルなんかな？ 最近silly tavernの版権キャラカードを作るのにgensparkのスーパーエージェントにキャラ情報の収集から作成まで任せっきりなんだけどクレジットがマッハで尽きるのよね
ローカルでそういう事が出来そうなら助かるんやが 4B,8B,14B,32B,30B-A3Bのq8試したけど、日本語性能低め
30B-A3Bよりも14Bの方が性能マシに感じた
bakenekoあたりを待つ 英語中国語圏で評判良くて日本語だと微妙といういつもqwenやな 日本語で追加学習して化ける可能性があるからその辺待ちかなって感じ
ポテンシャルの高さは感じる Qwen3-30B-A3B-Q4_K_M.gguf、ワイ環境やとそもそも日本語で生成してくれないことが多い >>739
bartowski氏のq8使ってるけど、think以外は100%日本語で答えてくれてるよ MOEをCPUとRAMで動かすのってわりと実用的なのん？ >>733
真面目用途はモデルサイズも加味してGemma-3で十分な感じもする Qwen3-30B-A3B-Q6_K.ggufが4090でなんとか動作
10token/sくらいだけど
NSFWフィルタが堅い…… 皆なんでMOEモデルにそんなにこだわるの？
Qwen3-30B-A3Bって、実質3Bだぞ。
メモリ喰いのゴミモデルじゃん。
普通にQwen3-32Bでよくね？ >>744
4060tiでも16tok/secくらい出てるからGPUオフロードいじったらもっと速くなるんちゃう？ MOEはロールプレイに使うだけなら恩恵ない気はするな
RP訓練モデルのが確実に賢い
だったらMOEベースでキャラクターのアーキタイプ別エージェントを作ればいいのか？ 本当にRP特化のMOEなら例えば方言スペシャリストとかも内包してあらゆるキャラクター性を演じることが可能になったりするのかな 性格と口調を組み合わせできたら破綻はしづらいモデルができそうだけどどうだろう
こればかりは海外モデルに期待できないから国内のデータを選別してトレーニングするしかないのよな >>740
ありがとう
ワイがDLした人とは違うんで
そちらも試してみるわ
LoRAでグラボ回してるからあと7時間はなんもでけん・・・ >>745
実質3BってことはCPUで動かせるやん Qwen3文章書かせるならthinkモードオフにしたほうが良いな >>753
デモで試したがオフにすると精度下がったわ Ryzen 7950XでQwen3-30B-A3B Q6_Kが15token/sの速度出せる
GPUなんていらんかったんや そういやLLM部ってwikiないんやな
あると情報追いやすくて便利やけどお客さん呼び込むとダルいからどうしたもんかな
とりあえず非公開で個人用に作ってるけど一人でまとめるのも限界きてる感じあるわ(PListsとAliChatについてしかまとめとらんが) 7950Xにメモリ32GBの環境でここまでのAIを動かせるようになってきたか 父さん製は日本製弱いというか中国語メインだと日本語への変換が弱くなるんやろな 30B-A3B，思考が英語なのさえ気にしなければ出力の日本語も安定している気がする。思考言語は変更できないんだよね？ >>760
Chat Templateに合わせてprefillすれば無理やり日本語で考えさせるのもできる気はするが、学習してないだろうし性能的に意味はないと思う >>760
出来たとして、日本語で思考させたら性能落ちそうやな やっぱり文章書かせるときは繰り返しペナルティをちょっと上げたほうが良さそうだな 連休明けにいよいよ5090が届くんやがLLMとTTSは50XXシリーズでも特に問題は出てないの？
画像生成はpytorchの対応待ちだとか聞いたけど Blackwell対応はCUDA12.8で動くかどうかやな
pytorchもCUDA12.8でビルドされたやつを使えば動く
pytorchの最新Ver.2.7.0は夜間ビルドや自前ビルドでなくても公式で対応しているっぽい
LLMのバックエンドのllama.cppは公式バイナリがCUDA12.4までだから自前ビルドが要ると思われる >>763
すごい初心者質問ですまんやがそういう指定て
どういう場所で指示しとるん？
温度みたいにそういう項目ってあるんやろか
それとも指示で「繰り返しやめて」て書いとるのかしら？ >>769
使ってるソフトによるけど
Repetition Penaltyの項目ないか？ 日本語追加学習版欲しいなぁ思ってたけどたしかにrinnaさんbakeneko出してくれそうやな、めっちゃたのしみや >>770
ありがとやで！
wannabeにもあったわ
＞計算手法として乗算型と減算型の二種類を指定できるようにしており
あるトークンがすでに生成された場合、そのトークンのログ確率をペナルティ値で割る（乗算）か
ペナルティ値を引く（減算）というオペレーションを実装しています
……理屈はよく解らんが高くするとくり返し防止になるんやろかな EasyNovelAssistantしか触ったことないんだけど、Qwen使えるんかな？
デフォルトのモデル以外は何をつかえるのかよくわからんのだけども 試してないけど中身KoboldCPPだから動くんじゃない？
ただバージョン古いから問題出るかもね あとソース見たらreasoningのthinkタグの扱いとか何もなかったから出力が思考垂れ流しになりそう >>694
対応まことにサンガツやで
こんな速く実装するとは思わなんだ
しかも音でなく難しそうなDynamic Promptのほうを全項目とか……
まだ「アイデア出し」の機能を使っとらんから
そっちでうまいこと使えんもんか試してみるで！
しかしLoRA制作とLLM同時にやるとVRAM90%、LLMでCPU70%、メモリ80%もってかれるンゴ
これほどハードを活かしたこと人生初やで base（事前学習）モデルを色々と試してみたんだけど
NSFWだと圧倒的にmistralが強いね エロ小説前半を与えて続きを指示なしで書かせる完全主観のベンチマークで
mistral nemo base >= Mistral small 3 base >>(越えられない壁)>>qwen3 14b base > gemma 3 27b pt
といった感じだった
mistral3の方が破綻の少なく知性の欠片を感じる文章だけど、nemoはとにかく勢いがあってエロ小説ならこちらの方がポテンシャルあるかもしれない
総評としては
どのモデルでも淫語は思ったより出るけどmistral以外は恥ずかしがってる感じで特に地の文が言葉選びが控えめ前半で出てきた言葉すら使ってくれなかったしたりする
その上致命的に整合性が合わなくてなる傾向がある（例：一人称がめちゃくちゃになったり挿入側と非挿入側が入れ替わったり）
nemoは12bかつ10か月前のモデルなのに未だに最強格でオーパーツ感ある
ちなみqwen3 32bはベースモデルが出てないので評価出来ないけどinstructモデルで試したところ14bと同じ傾向なので期待薄 koboldcppをずっと使ってて今更ながら最初の画面の設定項目の意味知らんのばっかりやなと思いAI先生に色々教えてもらったわ
俺せっかく4090使ってるくせに性能を活かす項目にチェック入れてなくて草 >>777
オーパーツというかシンプルにQwenやGemma、LlamaあたりはNSFW系データをフィルタリングしててMistralはそうじゃないっていう違いじゃないかな 触り始めの人向けにせっかくやからkoboldcppの設定でこれはと思った部分を共有するで
想定環境はRTX30XX以上のグラボとSSDやで
まずcuBLASを選択(nvidiaグラボに最適)
Use MMAP (VRAM節約)
Use QuantMatMul (mmq) (高速化)
Use FlashAttention (高速化&VRAM節約)
Use ContextShift (文脈保持力UP)
これらにチェック入れて有効化や
Use MLOCK (高速化)
これはVRAMが余る状況の時だけチェックや >>777
Mistralは3.1あるけど試してる？
3より速度上がったりコンテキスト長増えてる
出力の違いはちゃんと覚えてないけど
破綻減って規制緩くなってた気がする mistral largeの後継はまだかー
あれの精度に慣れると他を使う気になれん mistralって一生アジア言語ハブってる印象だったけど最近のはちゃんと多言語対応してんだっけ >>781
3.1は最適化ライブラリが未対応で学習できないから無視してたけどかなり良かった mistral 3.1 base > nemoやね
mistral nemoと3の良いところ取りみたい挙動 文章がまともで勢いもある これは良いモデル 間違いない
redditだと3.1はSTEM特化と聞いてたけど百聞は一見にしかずとはこのことか
学習できないか検討してみる 欧州人だからなアジアなんかどうでもいいと思ってるんだろ nemoからしか知らないけど日本語ちゃんと話せるぞ
3.1は24Bの割にVRAM使わないからメインで使ってるわ Mistralの日本語ってDeepSeekより微妙じゃないか Phi-4-mini-reasoningのコンテキストウィンドウが128kらしいと聞いて、長文読解させられるのかなとワクワクしながら試してみたんだけど
長文以前に一言の挨拶もまともにできない控えめに言ってゴミカスの性能で、何か間違ってんのかな俺 Phiはベンチマーク番長とスレ評価が固まってるから試したこともないな mistral small 3.1は推奨tempが0.15の罠あるんだよな >>756
LM studioだとQwen3-30B-A3B-abliterated-Q6_K-GGUF
ってのしか無かったけどこれとは別なの？ >>757
今更だけど一応あるよ
忘れられて久しいけど
29 名無しさん＠ピンキー (ﾜｯﾁｮｲ 93c0-Ub2H) sage 2024/05/03(金) 14:00:38.83 ID:???0
一応放置されているLLM部のWIKI：https://w.atwiki.jp/localmlhub
よくよく調べてみたらatwikiってえっちなコンテンツあかんらしい
NVA部とおそろいでseesaa wikiで作ったほうが編集もしやすくていいかもしれないな? 個人がやってるwikiだけど日本語ローカルLLM関連のメモってwikiがだいたいスレの内容と同じで更新続いてるからなあ >>765
戦いはVRAMの数だよ、兄貴
最新のGPUよりVRAM沢山搭載してるGPU複数枚の方がコスパがいい
マルチGPUに対応してないAIは一枚の性能に頼るしかないけど 前にLLMと組み合わせたデスクトップアクセサリ秘書つくりたいと言っとった者やけど
Chill With You : Lo-Fi Story
ていう今度出るsteamアプリが近いかもしれん
なんか別ウィンドウに常時表示させておきたくなるンゴねこういうの 日尼でGMKtecのX2 AI(Ryzen AI Max+ 395, 128GB)予約した
メモリの帯域幅的に現環境のP40*3よりたぶん少し劣るぐらいの速度だけろうけどP40は消費電力がね... Ryzen 9950XとRTX4090でKTransformersを使ってQwen3-235B-A22Bを動かしてみた
50token/sでるからすごい
DeepSeek R2が来るまでもうずっとこれでいいな >>800
はええな
導入したいけどどうすればいいか分からん
lm studioで動くんやろか さすがにGMKtecのX2 AIは95000円クーポンと3割引クーポンは排他か >>798
vramに回せるの最大96Gやっけか
command-aが動くのええなあ
レポ楽しみにしとるやで
5090買う予算はないから今後AIまわりはRyzenAIになりそうや
メデューサ楽しみやで Qwen3-235B-A22Bは128GBのメインメモリと24GBのVRAMがあれば快適に動くね >>777
あれからもう少し使ってみたがやっぱ小説の続きを書かせるAIのべりすと的な使い方ならベースモデルの方が優秀やな
nemoや3.1のbaseははっきり言ってNSFW目的のFTモデルより遥かにR18関連の語彙力高くてエロい
そっち系の学習を考えている人はmistralがおすすめやで ベースモデルの時点で知識があるから軽くチューニングするだけで目的達成できるはずや Qwen3-235B-A22Bの動かし方どっかに載ってないかな？ KTransformers知名度低いから記事はかなり少ない
YouTubeで検索したらいくつか見つけたけど ktransformers、0.2から0.3でなんかいろいろ変わってる？
公式のドキュメント通りにインストールしてもなんかうまくいかんな… ktransformersのインストールに挫折しました…… koboldの最大出力が512tから1024tに正式対応してるね。
これで放置作成がやりやすくなった >>629
temp0.95/topK40でいい感じに動いたで
システムプロンプトも入力できるようになると助かる。応援してるで。 Qwen3 32BをAIエージェント的に使おうと思ったけどやっぱ使い物にならんかった… >>798
メインメモリを最大96G gpuに割り当てれるらしいけど本来のgpuメモリとは合算して使えるんだっけ？
例えば4090積んでたら120G使えるとか X2 AIは外部GPUも視野にいれるとOculinkが無いのがちょっとひっかかるな
多分拡張M.2スロットあるからそこに変換基板刺して繋ぐか
USB4で繋ぐという手はあるかもだが Qwen3-32BはQwQ-32Bより日本語性能が低い気がする
単純な上位版ではないっぽい qwen3-30B-A3Bのあんまり使われてない部分を排除した16Bバージョンらしい
14Bと比べたらどうなんだろうね
235Bを150Bに減らすこともできるらしく、そっちはまだっぽい
https://huggingface.co/kalomaze/Qwen3-16B-A3B >>823
bartowskiのIQ4_XS試してみたけど普通にダメそう
出力が欠けてたり文字化けしたりで使い物にならん あんまり使われてないから削ってみましたってロボトミーやんけ 小説用の新しいモデルを公開してProject Wannabeを更新したやで
https://github.com/kawaii-justice/Project-Wannabe/tree/main
https://huggingface.co/kawaimasa/wanabi_24b_v1_GGUF
主な変更点は次の展開を明示的に指定できるオーサーズノート機能に対応したことと、小説の続きを書かせるタスク時に冒頭部分が本文と重複して話が進まない問題を解消した点やね 詳しくはreadmeを見てほしい
データセットも2倍以上に増やして、あらすじや設定等の詳細情報を複数のフォーマットに対応させたから指示性も柔軟性もpreview版より大幅に上がってると思うで
チュートリアルも充実させたから合わせて見ると理解が深まると思うで
プレビュー版に意見くれたニキ達にはほんま感謝や ktransformersって、プロンプトごとに学習データ使用範囲を予測してVRAM、DRAMに振り分けるんでしょ？
そうすると、プロンプト入力が増えるほど、参照が必要な学習データが増えて処理が遅くなるのではと思う。
単発でなく繰り返しプロンプト入力のでの処理時間と結果がどうなのか知りたいところ。
まあ通常使用だと精々5回位しか同系列のプロンプトしか入力しないから問題なさそうだけど。 >>819
今外部のLLM（Claude)でコーディングサポートに使ってて、Qwen3 ならローカルでコーディングサポート出来るかな？と使ってみたけどやっぱり知識的にというか分析的にイマイチおっちょこちょいな感じがするんよね… >>826
更新サンガツやで
まずdev-04-28verのDynamic prompt やけど
{うきうきと|楽しそうに|悲しそうに}などで機能したで！
プロットで試したんやが、本文にもその雰囲気が多少反映された感じで面白いンゴ
ただ初期設定500トークンを超える長さのものだとプロット冒頭に書いたのは影響薄くなるね
ちょっと疑問やけども
設定
キャラA＝{黒髪|赤毛|茶髪}｛内気|悪戯っ子|負けず嫌い｝
てしたとき、ランダムで決めた「黒髪」「内気」は以後ずっと引用される（ように内部で指示されとる）んやろか？ >>826
今回のmain-05-03
オーサーズノートの使い方がようやく解ったで
実際に指定してみたらそのとおり字数かけてくれた
地の文をじっくり書いて欲しいワイからするとメチャ嬉しい機能や！
こんなんが可能ならワイも好きな作家を学習させてみたいと思ってしまったで
ワイは今んトコ好みなんはc4ai-command-a なんやけど
地の文をちゃんと書いてくれるんや、クソ重いけども代え難い魅力や
今回の機能でwanabi_24b_v01_q4km の24Bでもかなりええ感じに思えたんで
いずれRyzenAImaxが普及した暁には c4ai-command-a でのアレンジもお願いしたいで！ >>826
あとまた勝手な希望やけども
恐らく皆、設定にキャラ表を書いとるよね？
キャラ表を別textなりで用意して、別個で読ませたら
「キャラA」「キャラB」とタグができる（消すのはいつものX）のはどうやろか
設定もjsonに書かれとるけども、さすがにスクロールせんと見えんから
「この設定て誰が出てくるんやっけ」となるし、保存したjsonのによっては継ぎ足した差分で混乱するから
ひとつにまとめたいんや
別ファイルにすることで生成する直前にいちいち読みにいかなあかんくなるとは思うけども……
更に発展させると要素カードを作ってマインドマップ的なものを組み立てて、それをストーリー化とか
（NotebookLMがそうなのかもしれんがまだいじっとらん）
三幕構成のフォーマットに穴を埋めていくとそれっぽい物が完成するとかもできそうや
とにかく楽しみやからワイでよかったらなんぼでもデバッガーになるで >>826
GUIっぽくプロットをいじれるようになってワイルドカード使えたら
誰でもアサイラムに就職できるかもしれん
Z級サメ映画フォーマット
├─ １幕目
│ └─ サメの不穏な影（資料映像wild）
│ └─港町 （場所wild）では海辺で（祭wild）の準備中
│ └─ エサ枠のチャラ男チャラ女たち（キャラwild）
│ └─1人が「この海には（伝説wild）があって……と言い出す
│ └─1人行方不明（キャラwild）になる
│ └─ チャラ男が（有力者wild）に危険を訴えるが（理由wild）により断られる
│ └─相手にされないチャラ男たち、お互いの（悪口wild）で罵り合う
├─2幕目
│ └─祭が開始される。突然（空間wild）の中から（突然変異wild）した（サメ外見wild）が群衆に襲いかかる
│ └─（反撃wild）にもかかわらずサメは人間たちを（面白死亡wild）で食べていく
├─3幕目
└─（ひょんなことwild）で、サメは姿を消す
└─（人間は愚かwild）というテーマっぽいことを語る
書いてて思ったけど別に港町じゃなくてもええんよな、雪山とか砂漠にもサメ出るし >>828
公式がQwen3-30B-A3Bの方を勧めてる（openhandsと組んで検証したみたい）
ただまだcloudeやgemini2.5proが圧倒的だね
swe benchに圧倒的な差がある text-generaton-webuiを2.6から3.2に上げたら
ST経由の出力がとんでもなく長くて繰り返しが多くなってしまったんですが
解決法知ってる方いますか？ >>826
更新サンガツ。アイデア出しの時に詳細情報の各項目を出力に含める含めないを指定することは難しいんかな？
設定が長いとプロットだけ書いてほしいときに時間かかるんや。 >>835
大葉とST共にキャラカードとかチャット履歴をバックアップ取ってからクリーン再インストール >>835
アプリの更新で出力の雰囲気が変わるのは俺もあったな
画像生成でもそういうことはあるしある程度は諦めて調整し直すしかないと思う >>830
>>836
使ってくれてありがとやで
dynamic promptは生成されるたびにランダムに選択やね 面白そうな展開やアイデアが出たら、手動で調節する形やね
>>ランダムで決めた「黒髪」「内気」は以後ずっと引用される（ように内部で指示されとる）んやろか？
GUI側で非表示にするだけなら簡単に出来るけど出力時間は同じだから時短にはならんね 特定の項目のみを出力はデータセットから変えないといけないから厳しい
>>更新サンガツ。アイデア出しの時に詳細情報の各項目を出力に含める含めないを指定することは難しいんかな？
データセット変えるのは簡単なんだけど次のモデルに入れようと画策してるアイデア出し時にアイデアの補間（既存の詳細情報を膨らませる）する機能とも相性悪そうなんよね 良い方法が無いか考えてみるわ
機能要望は出来るだけありがたいからどんどん送ってや unsloth/Qwen3-235B-A22B Q3_K-XL がMacBookで動いたから試してみたけど
個人的にはイマイチだった 昨日初めてローカルLLMやったんだが、Gemmaとあと名前すら忘れたけどバカな上にキチガイレベルで検閲ひどくてドン引きしたモデルがあった
そのあとMistral 7B入れたら日本語みたいな言語喋る何者かって感じで会話7割くらいができなかったな mistralは欧州しぐさ強いからアジア対応なんて期待できない Largeは動かせてないけどMistral Smallはあのモデルサイズにしては日本語できる方だけどな rtx4070からrtx5070tiに変えたら少しは生成早くなるかと思いきや、koboldcppでエラー吐いて止まるようになってしまった
AIで調べたらコンテキストシフトが悪さしてるとか言われたけど、GUI上で切っても効果無し
画像生成の方でもz-tipoがエラー吐くしaviutlもエラー吐くし散々だよ mistralにキレてる意味がわからん
mistralに論破でもされたんか？ >>844
グラボじゃなくてドライバ変えたからアカンとか？
最近の緑ドライバ評判悪いし mistralは内部に日本好きがいると思われる
トークナイザーからTekkenとか命名してるし Mistral Largeは123Bだっけ
あの辺気軽に動かせるようになればまた変わるんだろうな mistral large 系のmagnum v4は日本語最強やで >>851
LLMだとLoRAだけ公開ってほとんどみないな
NSFW系小説だと上のwanabi 24bも対応してるしaratako氏の
https://huggingface.co/Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF?not-for-all-audiences=true
これとかも有名や このモデル時代は1年前のモデルやけどXでqwen3 8bバージョンも出すって言ってたから期待してる 汎用的に使えるようにLoRAにする一歩前段階のものがあるといいのだけど 画像生成みたいなLoRA作成環境ってLLMにもあるん？ LLMのLoRA作成ツールはあったはず
前に調べた時にはあった koboldcppに続いてsilly tavernの設定項目の解説をchatGPT先生にお願いしてるんやが面白いな
使ってるberghof-ERP向けの動体温度を採用したおすすめパラメータで組んでみたら挙動が理想に近づいた
ちなみにberghofのコンテキストテンプレート、なぜか俺はずっとmistralV1だと勘違いしてたんだけど多分ChatMLもしくはAlpacaが正解やわ
それにしてInstructモードをオンでやると変な挙動が出なくなった >>847
そうかもやけど乗せ替えたときに最新版ドライバ入れんと動作せんかったんや…
単にグラボ変えただけやのにこんな事になるとは >>836
アイデア出しタスクで条件付きやが精度を維持したまま高速で特定の項目だけ出力できるようにしたやで
Project Wannabeを更新すれば使えるはずや
複数の項目の出力は良い方法が思いつかなったので無理やった Twitterで回ってきたけどQwenにエロデータ学習させてる人がいるらしいからそれ使ってみるか wannabeに触発されて、今更、初めて自分でllmの微調整して量子化までやった
プログラミング分からん俺でもgeminiに聞きながらやったら4日でここまで来れたから、そんなに難しいことではないと思う
データセットとハイパーパラメータとかいうやつは、これからゆっくり学んでいく
データセットの自作はAPI経由で集めるか、AIに作らせるしかないんかな
自分好みにしようと思うとめっちゃ大変だね 学習はデータセット作成に全体の9割の労力を使えと言われるくらいにはデータセットの品質が結果に直結するから頑張るんやで
LLMで合成データを作るなら無料枠をかき集めると安上がりなんでおすすめや
openrouterなら10$チャージすれば無料モデルなら1日1000リクエストまで使えるようになる
googleもGemini 2.0 flashや2.5 flashなら結構無料枠あるしgrokならデータ共有すれば毎月150$のクレジット貰える ピンとこんのやがデータセットって要は大量のドスケベ日本語サンプルってこと？
どういう雰囲気で〜とか指示して書きまくってもらう感じ？ データセットの形式もLLMで作ってもらう内容もモデルの目的次第やね
小説を書かせたいならLLMに書かせるよりスクレイピングなりOCRなりで取得して→LLMには目的に応じて単なるプログラム処理では得られない情報を作ってもらう形やね（例えばあらすじから小説を書かせたいならLLMであらすじを作らせるとか）
チャット用途なら会話履歴自体をほぼ0からLLMに作らせることになるはずや
この場合なら最終的なデータセットの形式も指示文と出力文を用意する形（所謂SFT用データ）になる
特定の知識を与えたい場合は事前学習の方が適してると言われているから特に変形させずひたすらプレーンテキストを与える形式(>>488みたいな)を作ることになる 今って2つのAIに会話させて小説を2人のLLMsで作っていくって出来る？昔Rinnaで2人会話させる昨日作ってたニキがここにいて使わせて貰ったけど、アタオカ2人が会話してて面白かった（使い物にはならんかった 登場人物一人一人にslmを割り当てて監督llmに指示させるのはどう？ 昔のリンナは酷かったよな
STのグループチャット機能使えば行けるんじゃね？ >>851
そもそもQwQ-32Bとかの人気モデルは大抵エロも学習してる
それで満足できるかは人によるだろうけど 32Bってかなりマシなんじゃね？
7Bだと日本語モドキ喋る何者かだぞ STのグループチャットはLLMの性能向上もあってかなり使えるようになったけどまともな会話を続けさせるならユーザーがプロンプトで逐次介入しないと無理だと思う >>872
それ多分設定がうまく出来てない
7Bは複雑な関係や状況は把握しきれないけど普通に流暢に会話出来るよ
むしろ下手な20〜30Bモデルより会話が自然だったりする こことか色々なところの反応見るとchat templateの概念を理解出来てない人が意外と多いのかもなって感じがする
ローカルLLMでまともに会話できないって言ってる人はここで躓いてることが多いイメージ、最近のモデルは7Bとかでも普通に会話はできるよ >>870
基本的な語彙力とかはモデルに頼るとして
エロい表現とかはLoRAで補強したいですね >>872
ほんそれ
最新のナウいやつは知らんけど
大抵の小型モデルは言語をあやつる怪異レベルなんよな >>875
まず長い設定を覚えてくれないから正確なキャラの維持やTRPGゲームマスターみたいなことができないよね
例えばお嬢様でも敬語で落ち着いて喋るお淑やかにしたいのに「〇〇ですわ〜！」連発するとかね
そんでセリフの例を少し渡すと「アレンジしろ」と注釈をつけても同じ言葉を繰り返すし
たくさん例を渡すと今度は扱いきれなくなってセリフとルールと注釈を取り違えて指示文とか喋りだす
って認識なんやけど違うん？
クソデカモデルで長時間待っても大差なかったんやけどワイの使い方が悪い？ キャラの維持はサイズよりRP用にチューンされたモデルかどうかが重要だと思う
例えば俺のお気に入りの7Bのberghof-ERPの方はsilly tavernで使うとキャラ追従性がとても良くて口調や性格も崩れない
mistral3.1も使って比較したところ、こっちは同じキャラカード使っても口調がどこか教科書チックというか、お硬い感じになるね
ただし7BはTRPGの進行みたいな複雑なルール把握はまず無理だからそういう用途では大サイズモデルを使うべきだろうね >>875
俺なんかお前が言うところの「初心者」なんだろうけど、7Bと14Bじゃ全然違うぞ ローカルLLM動かしたこと無いけど
巨大モデル使えば性能良くなるんでは？って思って
ThunderComputeでVRAM80GBのNVIDIA A100XL借りて
初めてOllama動かしてみた
VCPUs: 4, Memory: 32GB, Cost/Hour: $0.82
20ドルまでは無料らしいので偶に実験する程度なら安く使えそう
これのQ5_0量子化のやつ
無規制っぽくて、文章の整合性はともかく脱獄のような事をしなくても申し訳してこないのは良いな
https://huggingface.co/mmnga/c4ai-command-r-plus-gguf
https://www.thundercompute.com/about
Every account also receives $20 in free credit each month, so many users run small experiments at zero cost. 知識を付与するのがLoRAが一番苦手な学習やから
賢いモデルにエロさを付与するよりそこそこの賢さの無検閲モデル（出来ればベースモデル）を軽くチューニングしたほうが結果として賢さとエロさを両立できる
りんなのQwen3日本語チューニング出すのを待っています 3060にPhi4はいくら4bitにされてるとは言え重いなぁ >>858
サンガツ。かなりいい感じに動いてるわ。応援してるで。 データセットのロードうまくいかんと思ったら、windowsのパスの最大長制限ってのが原因だった
デフォだと260文字までしか対応してないんだってね。無効化したらいけた
geminiにエラーコード放り込んで、最後に「もしかしたら…」って言われたのがこれなんだけど、geminiなかったら一生躓いてたと思う
技術畑の人にとっては割とありがちだから常識らしい 今まで難しそうと思って後回しにしてたsilly tavernとcomfyUIを繋げて画像生成、やってみたら意外と簡単だった！
生成指示文を改良していけばさらに色々出来そう
ちなみにLLMはberghof-ERP-7B-Q8
画像モデルはcottonnoob-V3
https://i.imgur.com/DDVCcmL.jpeg qwen3ってstable diffusionのエロプロンプトとかエロ小説書ける？
自分で調べてqwen3ダウンロードしてるんやが
今ダウンロード中75%
1秒に0.07%くらい まあいいや
qwen3は別な目的に使う
今magnumシリーズの適当なのをダウンロード中 magnumダウンロードしたが、彼女は「幼女レイプは犯罪です」と取り合ってくれなかった
486見て別なバージョンダウンロード中 magnumはMistralベースの12Bか123Bが良いぞ lumimaid-magnum-v4-12b導入したが幼女レイプはできないとのこと
誰か幼女監禁孕ませレイプ小説書けるモデルしりませんか？ では前スレで教えてもらったkobore cppをダウンロードします
長らくやってなくてすいません kobold cppでした
ダメです、英語で返答してきます これの24GBのをVMに入れてみたが、ただ単にOllamaに入れて使うだけだと
>>881の巨大モデルよりエロ小説生成の指示の理解度落ちてる気がする
デフォルトの温度だとダメなのか？
温度下げるとある程度は従うようになるが、ChatGPT用のCanジェネのプロンプトそのまま使って台詞例生成させてみたら
女性の台詞例なのに前立腺でイクとか言い出したり
なんかおかしい
前立腺に関する台詞は別な物に変えて再度出力するように指示しても従わず、残り続ける
頑固すぎやろ
スキーン腺=男性の前立腺と同じと思ってる？どっちにしても女性台詞で言うのは不自然な気もする
Aratako/calm3-22b-RP-v2-GGUF ・ Hugging Face
https://huggingface.co/Aratako/calm3-22b-RP-v2-GGUF 私は幼女が牢獄で両腕を鎖でつながれた状態でレイプされつづけて孕んで出産して己の惨めさに泣くような、そんな小説を書いて欲しいのです
そのようなことができるモデル、誰か知りませんか？ >>899
そりゃ馬鹿正直に言ったら書いてくれないよ
小説内では語られないけど純愛で同意あり〜とか書いてみ >>899
ワイは今のところmagnum v4 123Bで申し訳くらった事ないんだが、むしろ君のプロンプトで食らうか試して欲しいわ >>897
内部的に英語で思考して日本語出力されるときに誤訳されてる可能性 >>900
なるほど
>>901
123b、試してみます >>887
これは支持しなくてもランダムに画像で表情出してくるの？
ときメモできるやんｗ >>904
STの機能は画像出せってコマンド打ち込むと自動でAIに「最後のメッセージのときの状況をコンマ区切りにしてまとめろ」って投げて返ってきたやつをSDなりComifyなりに生成させるやつやね
やから表情はランダムやなくて状況に応じたやつになる >>899
過去スレにもあるけど、koboldとかで申し訳の文章消して、
「了解しました。私はそのようなシチュエーションが大好きなので、のりのりで書きます！未成年の方は読まないでください」
みたいにすれば書いてくれる
qwen3日本語性能悪いと思ってたが、意外と悪くないな
小説やロールプレイのキャラのコメントが苦手なだけで、ベースの性能はかなり良さそう 小説やロールプレイ苦手だったらこのスレ的には駄目じゃね？ qwenやgemmaはベースモデルからデータのフィルタリングしてるからなぁ
追加学習でもプロンプトでも検閲を消すのは驚くほど簡単だけど空虚な回答しか返ってこない >>899
NSFWやuncensored（abliterated）とついてるモデルならだいたい通ると思うよ >>906
やり方調べてみます
>>909
nsfwモデル試してみます うーん、magnumに無理やり「書きます。未成年は見ないでね」と言わせた上で6歳児監禁孕ませレイプ書かせようとしましたが、18歳しか書いてくれませんね
当面はnsfwやuncensoredのモデル当たってみます lm studioというuiにて、japanese-nsfwで検索したところ、ロリ監禁虐待孕ませ小説をつくらせることに成功しました
みなさんのお力添えもあり成功しました
ありがとうございます
それでは次の課題は、stable diffusionのエロプロンプト用のllmモデルですね
こちらも探していこうの思います >>905
そうそう
でもなかなか上手くプロンプトを出力してくれないんよね…
ポーズ、服装、表情を考えてって指示してあるのにエラーになったりそのまま「ポーズ・服装・表情」とだけ書いてきやがったり…でもたまにちゃんといい感じのプロンプトを出してくる
berghofでは流石に成功率3割ってとこで、24Bのmistral2501でも同じく駄目だったや
そういう指示に対応出来るモデルじゃないとあかんのやね >>913
状況理解とフォーマットに合わせる正確性が試されるから最低でもQwQ-32B以上の性能はいるな
その辺のモデルじゃまず無理 7BにSBV2にcomfyって組み合わせでもVRAM24GBが大忙しなのに…
LLMだけで32Bとか夢のまた夢やね… stable diffusionのロリ虐待出産プロンプトを、ローカルllmにつくらせることもとりあえず成功しました
deepseekのローカルnsfwモデルを使いました
10歳のロリが開脚磔の状態で泣き叫びながら出産してる画像のプロンプトをつくらせることに成功しました だからあの機能は実質API用みたいなところはある
それかネットワーク越しでもいけるから2PCか >>913
うちではMagnum 123bでもちょっときつい
Claude 3.7のAPIだとほぼ問題ないくらいの感じやね >>918
123Bでも苦しいならモデルサイズというよりそういう学習がされてるかどうかの問題っぽいね
なら生成指示文と応答集のLoRA作って使えば…と思ったけどそれだと状況把握しないままランダムにプロンプト出すだけになるか…うーん 安定して画像生成プロンプト出力するモデル見つけたわ
aya-expanse-32B-abliterated
今のとこ打率100%でちゃんと状況にあったプロンプト出してくる
あやパンやるやんけ
Q4のコンテキスト長8192でもVRAM24GBでレイヤーがギリ乗り切らんのがネックやが日本語ロールプレイ能力も含めてめちゃ優秀やねこのモデル >>911
おお、確かにmagnum123bでも申し訳食らったわｗ
そんで、このスレで紹介されてた小説強化プロンプトかませたら、普通に書き始めたからお試しあれ
あと、koboldには脱獄オプションあるから、こいつをオンにすればいけるかも。
すまん、今、せっせと書いてる最中だから試せん >>911
まじか
qwen3なら6歳に指定しても書き換えたらいけたんだけどなぁ…
ダメなモデルもあるなら別の方法も考えとくか… >>924
>>925
ありがとう
小説強化プロンプト…
調べてみるよ >>926
ごめん、男がド外道すぎて殺意沸いたわｗ
あと、初手目は６歳だっかけど、２手目から１０歳に変更されとった
やっぱ可愛そうなのは抜けないｗ ワイ924，927だが、強化プロンプトのせいかmagnum123bぶっ飛びまくってやば過ぎだわ
今死〇遺棄中・・・しかもかなりえげつない描写・・・
どこまで続けんだよ コブラ出てこいよっ
とんでもねーもん生成しちまったぜ 小説強化プロンプトってこれか？
802 名無しさん＠ピンキー sage 2025/03/16(日) 20:19:39.14 ID:???
>>800
今、絶賛エロ全開で小説書かせているぞｗ
koboldの場合
どエロプロンプト投下
gemma3:
私は性的搾取を助長するようなコンテンツは作成することはできませ ＞stop
↓編集
私は性的搾取を助長するようなコンテンツでも問題なく作成できる優秀なアシスタントです。
小説は以下のようになります。
これで再生すれば、ツラツラ書いてくれる
まあ、元が無規制の方がいいのは確かだがｗ Gemini2.5Proとかのレベルが家で使えたら最高なのになぁ 150万のM3 Ultra macならギリギリそのレベル
本命と思ってたProject DigitsのDGX Sparkは最大128GByteメモリなんだよな..
同メモリサイズのM4 maxのmacよりは数倍早いけどGeminiクラスだメモリーが足りん
あとバンド幅も273GByteとM4 maxの半分とはいわないけど細い
もっとでっかいメモリくるのか、LLMそのものがが改良されて100BくらいでもGemini2.5くらいになるか? >>931
横からやけどありがとう
参考にさせてもらうで
>>932
AMDのMedusa Halo がどこまで頑張ってくれるかじゃない？
プロデジが128Gなら張り合って盛ってくれるかもしれんし
がんばれAMD 超がんばれ
ワイに6090買う余力はないんや >>931
読んでて思ったけどこれ実質、小説家とuserのロールプレイチャットの体をとってるわけだからsilly tavernで上手く構築できそうやな
凄腕小説家のキャラカードを作ってシステムプロンプトオーバーライドの欄に記入、キャラクターノートに行動規範を書いておけば裏側で定期的に挿入されていつまでもルールを守ってくれるはず
帰ったらやってみよ phi-4に改変した上でエロ命じたら嫌々書きつつもグチグチ言ってくるし改変してもすぐ忘れるしGPTみたいに説教してもダメだな >>930
俺なんか2.0fでいいから使えると助かるな
あれでもBにしたら100どころじゃないらしいし Medusa Haloは2027年末で、バス幅384bit
バス幅はM3Ultraにまるで及ばなず(1024bit)コア数はどっこい
GPUの性能はnVidiaにまるで及ばない(全振りしてるもんね)
AMDは頑張って欲しいけど出た途端陳腐化しそうなんだよなぁ
インテル? そんな会社ありましたっけ? なんかjapanese nsfw moeとかいうモデルにエロ小説書かせたらやたらお兄ちゃんと人工授精出てくる
なんでだ ファインチューンで使ったデータにその系統のものが多く含まれてたってだけでしょ mistral medium出たけどローカルに来なさそうだな ワイは>>798ニキの感想楽しみや
いまDDR4やけど、5にするだけでもマザボ・CPU・DDR5とかかるし
それ考えたら30万で96Gのユニファイドメモリいけるんは
お財布的にワイのファイナルアンサーかなって >>936
めちゃくちゃ仕事とか趣味でコードとかに使ってるが月三千円近くは痛手なんよなぁ Qwen3のエロ追加学習版出てた
ベースモデルも出してくれてるから学習元に良さそう でもどうせ10歳児監禁孕ませ出産ショーはダメなんやろ？ >>943
それだけ使ってるなら3000円くらい安いものじゃないの
と思うけどまあ人それぞれだしな >>947
10歳時監禁孕ませ出産ショーなんて俺しかやらんからな
さすがに実写風ロリ牢獄多胎産後はやらんが >>897
それは>>881のよりモデルサイズがかなり小さいのと、モデル名にある通り小説生成じゃなくてRP用にファインチューニングされてるからそっち向きではないね ベースからしてゆるゆるなCommandAで日本語NSFWファインチューンモデル出してほすぃ >>950
8Bの方が言う事聞くかも…とな
悩ましいな qwen3 8b nsfw jpのベースモデルを>>777と同じ基準で比較したけど
なかなか面白い 勢い全振り 前文との文章の整合性とか前の喘ぎ方とか全部忘れてずっとアクセル全開で騒ぎまくる感じ
エロいというよりうるさい >>954
ファインチューニング前提なのかな
まぁベースモデルは基本的にそうではあるけども そのまま使うならERPで素材に使うならNSFWをチューニングしてどうぞってことじゃないのか 指示追従型じゃないモデルは
指示に全然従わなくて出力内容が滅茶苦茶になる？ >>959
速度アップ術というよりVRAM節約術やね
VRAMに乗り切らないサイズのモデル使ってるなら今よりVRAMに乗せられるようになるから結果的に速度が上がる、と
てことはVRAMに収まってる小型モデルでも今よりコンテキスト長を確保できるようになるんかな
めちゃ良さそうやん どのぐらいVRAM量変わるかこのページからだと分からんけど
書いてあるレイヤー数から考えると1割は削減できそうだな cohereのモデルがgemini2.5proくらい賢くなったら言うことない
来年には叶うかなあ 今気づいたがsarashina2.2-3bって何の制限もなさそう
llama.cpp+sarashina2.2-3b-instruct-v0.1-Q5_K_M.ggufで
特別なことせず叡智小説を書いてくれた >>954
もう少し使ってみたけどやっぱりエロ小説関連ベースモデルの性能だけで言えばmistral nemoが14b以下じゃ抜けてると思う
やっぱり数十万円規模の学習じゃbaseモデルが劇的に良くなることはないという 30b以上じゃないと汎用品としては使い物にならんな
小型モデルをFTして有頂天な奴らにはニーズが有るのかも知れないが非常にニッチな用途でしかない
ラズパイとか組み込み系の趣味に似ている そういや次スレはワッチョイかID出すようにせんか？
番号またいで研究結果報告してくれるニキもおるから
そっちのほうが追いやすいと思うんやが 汎用的な用途なら100bクラスでやっと劣化クラウドLLMになる感じやからな
30bクラスでも日本語になると途端にポンコツ化するんやからローカルの利用法がニッチな用途に特化していくのはしゃーない コマンドこれでええんかな？
!extend:checked:vvvvv:1000:512 スレチかもしれないけど今無料でAIエージェント試すならどの組み合わせがいいかな？ちょっと前にBoltっての試したけど、簡単な計算機すら起動できなかった…
やっぱLLM側の性能によるところが大きいよね >>973
ワイはエージェント使うほどじゃないからアレやけどClineとかCursorの方が名前を聞く印象……LLMの方が重要なんはそうやないかな
geminiの2.5proがたまに使うコーディングで一番すこやな、今は
あと、>>959だけどkoboldcppのGUIから
「Token」セクションの「overridetensors」に"\.\d+\.ffn_up=CPU"で多分だけど目論見通りになった >>959
これ試してみたんだけどIQ3、kvキャッシュQ4でVRAMぴったりだったのが
IQ4、kvキャッシュQ8まで精度上げれたわ GeminiやChatGPTみたいに
雑に指示をぶん投げても良い感じにそれっぽい小説書いてくれる、みたいのはローカルLLMでは無理だろうか
プロンプトを工夫して、何度も書き直しさせる覚悟が必要？
ChatGPTとか使ってた時もリテイクはやってはいたけど、それより回数必要な感じ？
このスレ来といて何だけど、時間効率だけ求めるなら
Gemini使う方が良い気もしてきてしまった
NSFWな小説執筆が必要な場合は脱獄する
CohereLabsのCommand系はAPIあるし、デモ使った限りではかなりユルユルに思える
でもGeminiだと似たような表現出がちな気もする
プロンプトが悪いのか、データが多過ぎて画一的になってるのか
ローカルLLMの方が学習データの個性出て、面白い応答出たりする事もあったり？ >>950
ERPの方で8Bと30B両方試してみたけど、明らかに30Bの方がいい感じだな
細かな表現力とか長い会話続けた時の初期の方のプロンプト維持力とかは30Bの方がだいぶ上に感じる
8Bの方が細かい追従性高いかもって作者の人言ってたけど、細かい部分気にしなければ30Bの方が圧倒的に良さそうな印象 30Bはモデルサイズ自体は8Bより圧倒的にでかいから表現力とか多様さとかは全体で獲得できてるけど使われる部分は3Bで少ないから細かい指示に従う能力が弱いとかそんな感じだったりするんかな >>974
すごい
それってやっぱモデル毎に最適解が変わる感じなん？ 5070Superが15万くらいで買える最適解になるのかなぁ、待つかなぁ >>981
最新1.90.1だっけな
そこのタブにあるで RyzenAIMax+395 128GBのミニPC 30万か… >>965
なんか前も似たようなこと言ってるやついたけどローカルに何を求めてるんだ？
オンラインに比べたら五十歩百歩だと思うんだけど AIとの会話に慣れてしまうと>>965みたいな攻撃的で嫌味ったらしいレスが新鮮に見えるな 何を求めてるとかでなくて、単に正しい理解をしてるだけでは....？
人数で見たら非常にニッチなのは分かりきってる話だし、ラズパイや組み込み系的な趣味だよ
Silly TavernやLM Studioで会話する時点で既にそこに半歩踏み込んでる、できる事だけから考えると面倒くさすぎるやつで、試行錯誤がたのちぃって人しかやらないやつでしょ >>974
コーディングしてるけど環境作りとかで何回もドライバーとかcuda,cuDNNのインストアンインスト繰り返したり、pipの依存関係とかもあるからやり直し必須だし、やっぱエージェントAIでも一回では出来なさそうだね… Mistral-Small-24B-Instruct-2501-abliterated
FluentlyLM-Prinum-abliterated (32.8B)
70Bも含めて色々日本語モデル触らせてもらったけど、この辺り以上のものに出会えてない 123Bなんか俺の環境じゃQ2ぐらいまで落とさないとVRAMに入らんがな >>986
所詮小型FTなんてニッチな需要しかないと何故か見下したように言った上に
対比として挙げた汎用性の高いモデルとやらがローカルの30bなのが突っ込まれてるのでは？
別に誰も汎用性がどうとか言ってないのにいきなりブツブツ言い始めたのもガイジ味を感じる >>977
そんな変わらんだろと思って触ってみたが確かに30Bの方がだいぶ良いわ
こっちはBaseモデルから継続事前学習で作ってるから良いってのもありそう Mistralの24BをSTで使うとなんかテンプレートがあってないような挙動だったけど下のテンプレート使ったら治ったっぽい？
huggingface.co/sleepdeprived3/Mistral-V7-Tekken-T5-XML >>993
silly tavernのテンプレートで用意されてるmistral V7では駄目だったってことなん？
そういう事もあるのか Project Wannabeを使ってみてるんだけど、他のPCで起動してるkobold.cppに接続して使う方法ってあります？ >>995
悪いんやが、現時点では対応してないんや
src\core\kobld_client.pyの
def _get_api_url(self) -> str:
"""Constructs the API URL from settings."""
port = self._current_settings.get("kobold_port", 5001)
return f"http://127.0.0.1:{port}/api/extra/generate/stream"
の127.0.0.1をkoboldcppを起動してるPCのIPアドレスに変えれば一応動くはずや >>996
ありがとうございます。
チャレンジしてみます。 とりあえずテンプレそのままIDワッチョイありでいいのか？建ててみる このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 48日 7時間 41分 21秒 BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php レス数が1000を超えています。これ以上書き込みはできません。
