なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ Qwen3-30B-A3B-Q4_K_M.gguf、ワイ環境やとそもそも日本語で生成してくれないことが多い >>739
bartowski氏のq8使ってるけど、think以外は100%日本語で答えてくれてるよ MOEをCPUとRAMで動かすのってわりと実用的なのん？ >>733
真面目用途はモデルサイズも加味してGemma-3で十分な感じもする Qwen3-30B-A3B-Q6_K.ggufが4090でなんとか動作
10token/sくらいだけど
NSFWフィルタが堅い…… 皆なんでMOEモデルにそんなにこだわるの？
Qwen3-30B-A3Bって、実質3Bだぞ。
メモリ喰いのゴミモデルじゃん。
普通にQwen3-32Bでよくね？ >>744
4060tiでも16tok/secくらい出てるからGPUオフロードいじったらもっと速くなるんちゃう？ MOEはロールプレイに使うだけなら恩恵ない気はするな
RP訓練モデルのが確実に賢い
だったらMOEベースでキャラクターのアーキタイプ別エージェントを作ればいいのか？ 本当にRP特化のMOEなら例えば方言スペシャリストとかも内包してあらゆるキャラクター性を演じることが可能になったりするのかな 性格と口調を組み合わせできたら破綻はしづらいモデルができそうだけどどうだろう
こればかりは海外モデルに期待できないから国内のデータを選別してトレーニングするしかないのよな >>740
ありがとう
ワイがDLした人とは違うんで
そちらも試してみるわ
LoRAでグラボ回してるからあと7時間はなんもでけん・・・ >>745
実質3BってことはCPUで動かせるやん Qwen3文章書かせるならthinkモードオフにしたほうが良いな >>753
デモで試したがオフにすると精度下がったわ Ryzen 7950XでQwen3-30B-A3B Q6_Kが15token/sの速度出せる
GPUなんていらんかったんや そういやLLM部ってwikiないんやな
あると情報追いやすくて便利やけどお客さん呼び込むとダルいからどうしたもんかな
とりあえず非公開で個人用に作ってるけど一人でまとめるのも限界きてる感じあるわ(PListsとAliChatについてしかまとめとらんが) 7950Xにメモリ32GBの環境でここまでのAIを動かせるようになってきたか 父さん製は日本製弱いというか中国語メインだと日本語への変換が弱くなるんやろな 30B-A3B，思考が英語なのさえ気にしなければ出力の日本語も安定している気がする。思考言語は変更できないんだよね？ >>760
Chat Templateに合わせてprefillすれば無理やり日本語で考えさせるのもできる気はするが、学習してないだろうし性能的に意味はないと思う >>760
出来たとして、日本語で思考させたら性能落ちそうやな やっぱり文章書かせるときは繰り返しペナルティをちょっと上げたほうが良さそうだな 連休明けにいよいよ5090が届くんやがLLMとTTSは50XXシリーズでも特に問題は出てないの？
画像生成はpytorchの対応待ちだとか聞いたけど Blackwell対応はCUDA12.8で動くかどうかやな
pytorchもCUDA12.8でビルドされたやつを使えば動く
pytorchの最新Ver.2.7.0は夜間ビルドや自前ビルドでなくても公式で対応しているっぽい
LLMのバックエンドのllama.cppは公式バイナリがCUDA12.4までだから自前ビルドが要ると思われる >>763
すごい初心者質問ですまんやがそういう指定て
どういう場所で指示しとるん？
温度みたいにそういう項目ってあるんやろか
それとも指示で「繰り返しやめて」て書いとるのかしら？ >>769
使ってるソフトによるけど
Repetition Penaltyの項目ないか？ 日本語追加学習版欲しいなぁ思ってたけどたしかにrinnaさんbakeneko出してくれそうやな、めっちゃたのしみや >>770
ありがとやで！
wannabeにもあったわ
＞計算手法として乗算型と減算型の二種類を指定できるようにしており
あるトークンがすでに生成された場合、そのトークンのログ確率をペナルティ値で割る（乗算）か
ペナルティ値を引く（減算）というオペレーションを実装しています
……理屈はよく解らんが高くするとくり返し防止になるんやろかな EasyNovelAssistantしか触ったことないんだけど、Qwen使えるんかな？
デフォルトのモデル以外は何をつかえるのかよくわからんのだけども 試してないけど中身KoboldCPPだから動くんじゃない？
ただバージョン古いから問題出るかもね あとソース見たらreasoningのthinkタグの扱いとか何もなかったから出力が思考垂れ流しになりそう >>694
対応まことにサンガツやで
こんな速く実装するとは思わなんだ
しかも音でなく難しそうなDynamic Promptのほうを全項目とか……
まだ「アイデア出し」の機能を使っとらんから
そっちでうまいこと使えんもんか試してみるで！
しかしLoRA制作とLLM同時にやるとVRAM90%、LLMでCPU70%、メモリ80%もってかれるンゴ
これほどハードを活かしたこと人生初やで base（事前学習）モデルを色々と試してみたんだけど
NSFWだと圧倒的にmistralが強いね エロ小説前半を与えて続きを指示なしで書かせる完全主観のベンチマークで
mistral nemo base >= Mistral small 3 base >>(越えられない壁)>>qwen3 14b base > gemma 3 27b pt
といった感じだった
mistral3の方が破綻の少なく知性の欠片を感じる文章だけど、nemoはとにかく勢いがあってエロ小説ならこちらの方がポテンシャルあるかもしれない
総評としては
どのモデルでも淫語は思ったより出るけどmistral以外は恥ずかしがってる感じで特に地の文が言葉選びが控えめ前半で出てきた言葉すら使ってくれなかったしたりする
その上致命的に整合性が合わなくてなる傾向がある（例：一人称がめちゃくちゃになったり挿入側と非挿入側が入れ替わったり）
nemoは12bかつ10か月前のモデルなのに未だに最強格でオーパーツ感ある
ちなみqwen3 32bはベースモデルが出てないので評価出来ないけどinstructモデルで試したところ14bと同じ傾向なので期待薄 koboldcppをずっと使ってて今更ながら最初の画面の設定項目の意味知らんのばっかりやなと思いAI先生に色々教えてもらったわ
俺せっかく4090使ってるくせに性能を活かす項目にチェック入れてなくて草 >>777
オーパーツというかシンプルにQwenやGemma、LlamaあたりはNSFW系データをフィルタリングしててMistralはそうじゃないっていう違いじゃないかな 触り始めの人向けにせっかくやからkoboldcppの設定でこれはと思った部分を共有するで
想定環境はRTX30XX以上のグラボとSSDやで
まずcuBLASを選択(nvidiaグラボに最適)
Use MMAP (VRAM節約)
Use QuantMatMul (mmq) (高速化)
Use FlashAttention (高速化&VRAM節約)
Use ContextShift (文脈保持力UP)
これらにチェック入れて有効化や
Use MLOCK (高速化)
これはVRAMが余る状況の時だけチェックや >>777
Mistralは3.1あるけど試してる？
3より速度上がったりコンテキスト長増えてる
出力の違いはちゃんと覚えてないけど
破綻減って規制緩くなってた気がする mistral largeの後継はまだかー
あれの精度に慣れると他を使う気になれん mistralって一生アジア言語ハブってる印象だったけど最近のはちゃんと多言語対応してんだっけ >>781
3.1は最適化ライブラリが未対応で学習できないから無視してたけどかなり良かった mistral 3.1 base > nemoやね
mistral nemoと3の良いところ取りみたい挙動 文章がまともで勢いもある これは良いモデル 間違いない
redditだと3.1はSTEM特化と聞いてたけど百聞は一見にしかずとはこのことか
学習できないか検討してみる 欧州人だからなアジアなんかどうでもいいと思ってるんだろ nemoからしか知らないけど日本語ちゃんと話せるぞ
3.1は24Bの割にVRAM使わないからメインで使ってるわ Mistralの日本語ってDeepSeekより微妙じゃないか Phi-4-mini-reasoningのコンテキストウィンドウが128kらしいと聞いて、長文読解させられるのかなとワクワクしながら試してみたんだけど
長文以前に一言の挨拶もまともにできない控えめに言ってゴミカスの性能で、何か間違ってんのかな俺 Phiはベンチマーク番長とスレ評価が固まってるから試したこともないな mistral small 3.1は推奨tempが0.15の罠あるんだよな >>756
LM studioだとQwen3-30B-A3B-abliterated-Q6_K-GGUF
ってのしか無かったけどこれとは別なの？ >>757
今更だけど一応あるよ
忘れられて久しいけど
29 名無しさん＠ピンキー (ﾜｯﾁｮｲ 93c0-Ub2H) sage 2024/05/03(金) 14:00:38.83 ID:???0
一応放置されているLLM部のWIKI：https://w.atwiki.jp/localmlhub
よくよく調べてみたらatwikiってえっちなコンテンツあかんらしい
NVA部とおそろいでseesaa wikiで作ったほうが編集もしやすくていいかもしれないな? 個人がやってるwikiだけど日本語ローカルLLM関連のメモってwikiがだいたいスレの内容と同じで更新続いてるからなあ >>765
戦いはVRAMの数だよ、兄貴
最新のGPUよりVRAM沢山搭載してるGPU複数枚の方がコスパがいい
マルチGPUに対応してないAIは一枚の性能に頼るしかないけど 前にLLMと組み合わせたデスクトップアクセサリ秘書つくりたいと言っとった者やけど
Chill With You : Lo-Fi Story
ていう今度出るsteamアプリが近いかもしれん
なんか別ウィンドウに常時表示させておきたくなるンゴねこういうの 日尼でGMKtecのX2 AI(Ryzen AI Max+ 395, 128GB)予約した
メモリの帯域幅的に現環境のP40*3よりたぶん少し劣るぐらいの速度だけろうけどP40は消費電力がね... Ryzen 9950XとRTX4090でKTransformersを使ってQwen3-235B-A22Bを動かしてみた
50token/sでるからすごい
DeepSeek R2が来るまでもうずっとこれでいいな >>800
はええな
導入したいけどどうすればいいか分からん
lm studioで動くんやろか さすがにGMKtecのX2 AIは95000円クーポンと3割引クーポンは排他か >>798
vramに回せるの最大96Gやっけか
command-aが動くのええなあ
レポ楽しみにしとるやで
5090買う予算はないから今後AIまわりはRyzenAIになりそうや
メデューサ楽しみやで Qwen3-235B-A22Bは128GBのメインメモリと24GBのVRAMがあれば快適に動くね >>777
あれからもう少し使ってみたがやっぱ小説の続きを書かせるAIのべりすと的な使い方ならベースモデルの方が優秀やな
nemoや3.1のbaseははっきり言ってNSFW目的のFTモデルより遥かにR18関連の語彙力高くてエロい
そっち系の学習を考えている人はmistralがおすすめやで ベースモデルの時点で知識があるから軽くチューニングするだけで目的達成できるはずや Qwen3-235B-A22Bの動かし方どっかに載ってないかな？ KTransformers知名度低いから記事はかなり少ない
YouTubeで検索したらいくつか見つけたけど ktransformers、0.2から0.3でなんかいろいろ変わってる？
公式のドキュメント通りにインストールしてもなんかうまくいかんな… ktransformersのインストールに挫折しました…… koboldの最大出力が512tから1024tに正式対応してるね。
これで放置作成がやりやすくなった >>629
temp0.95/topK40でいい感じに動いたで
システムプロンプトも入力できるようになると助かる。応援してるで。 Qwen3 32BをAIエージェント的に使おうと思ったけどやっぱ使い物にならんかった… >>798
メインメモリを最大96G gpuに割り当てれるらしいけど本来のgpuメモリとは合算して使えるんだっけ？
例えば4090積んでたら120G使えるとか X2 AIは外部GPUも視野にいれるとOculinkが無いのがちょっとひっかかるな
多分拡張M.2スロットあるからそこに変換基板刺して繋ぐか
USB4で繋ぐという手はあるかもだが Qwen3-32BはQwQ-32Bより日本語性能が低い気がする
単純な上位版ではないっぽい qwen3-30B-A3Bのあんまり使われてない部分を排除した16Bバージョンらしい
14Bと比べたらどうなんだろうね
235Bを150Bに減らすこともできるらしく、そっちはまだっぽい
https://huggingface.co/kalomaze/Qwen3-16B-A3B >>823
bartowskiのIQ4_XS試してみたけど普通にダメそう
出力が欠けてたり文字化けしたりで使い物にならん あんまり使われてないから削ってみましたってロボトミーやんけ 小説用の新しいモデルを公開してProject Wannabeを更新したやで
https://github.com/kawaii-justice/Project-Wannabe/tree/main
https://huggingface.co/kawaimasa/wanabi_24b_v1_GGUF
主な変更点は次の展開を明示的に指定できるオーサーズノート機能に対応したことと、小説の続きを書かせるタスク時に冒頭部分が本文と重複して話が進まない問題を解消した点やね 詳しくはreadmeを見てほしい
データセットも2倍以上に増やして、あらすじや設定等の詳細情報を複数のフォーマットに対応させたから指示性も柔軟性もpreview版より大幅に上がってると思うで
チュートリアルも充実させたから合わせて見ると理解が深まると思うで
プレビュー版に意見くれたニキ達にはほんま感謝や ktransformersって、プロンプトごとに学習データ使用範囲を予測してVRAM、DRAMに振り分けるんでしょ？
そうすると、プロンプト入力が増えるほど、参照が必要な学習データが増えて処理が遅くなるのではと思う。
単発でなく繰り返しプロンプト入力のでの処理時間と結果がどうなのか知りたいところ。
まあ通常使用だと精々5回位しか同系列のプロンプトしか入力しないから問題なさそうだけど。 >>819
今外部のLLM（Claude)でコーディングサポートに使ってて、Qwen3 ならローカルでコーディングサポート出来るかな？と使ってみたけどやっぱり知識的にというか分析的にイマイチおっちょこちょいな感じがするんよね… >>826
更新サンガツやで
まずdev-04-28verのDynamic prompt やけど
{うきうきと|楽しそうに|悲しそうに}などで機能したで！
プロットで試したんやが、本文にもその雰囲気が多少反映された感じで面白いンゴ
ただ初期設定500トークンを超える長さのものだとプロット冒頭に書いたのは影響薄くなるね
ちょっと疑問やけども
設定
キャラA＝{黒髪|赤毛|茶髪}｛内気|悪戯っ子|負けず嫌い｝
てしたとき、ランダムで決めた「黒髪」「内気」は以後ずっと引用される（ように内部で指示されとる）んやろか？ >>826
今回のmain-05-03
オーサーズノートの使い方がようやく解ったで
実際に指定してみたらそのとおり字数かけてくれた
地の文をじっくり書いて欲しいワイからするとメチャ嬉しい機能や！
こんなんが可能ならワイも好きな作家を学習させてみたいと思ってしまったで
ワイは今んトコ好みなんはc4ai-command-a なんやけど
地の文をちゃんと書いてくれるんや、クソ重いけども代え難い魅力や
今回の機能でwanabi_24b_v01_q4km の24Bでもかなりええ感じに思えたんで
いずれRyzenAImaxが普及した暁には c4ai-command-a でのアレンジもお願いしたいで！ >>826
あとまた勝手な希望やけども
恐らく皆、設定にキャラ表を書いとるよね？
キャラ表を別textなりで用意して、別個で読ませたら
「キャラA」「キャラB」とタグができる（消すのはいつものX）のはどうやろか
設定もjsonに書かれとるけども、さすがにスクロールせんと見えんから
「この設定て誰が出てくるんやっけ」となるし、保存したjsonのによっては継ぎ足した差分で混乱するから
ひとつにまとめたいんや
別ファイルにすることで生成する直前にいちいち読みにいかなあかんくなるとは思うけども……
更に発展させると要素カードを作ってマインドマップ的なものを組み立てて、それをストーリー化とか
（NotebookLMがそうなのかもしれんがまだいじっとらん）
三幕構成のフォーマットに穴を埋めていくとそれっぽい物が完成するとかもできそうや
とにかく楽しみやからワイでよかったらなんぼでもデバッガーになるで >>826
GUIっぽくプロットをいじれるようになってワイルドカード使えたら
誰でもアサイラムに就職できるかもしれん
Z級サメ映画フォーマット
├─ １幕目
│ └─ サメの不穏な影（資料映像wild）
│ └─港町 （場所wild）では海辺で（祭wild）の準備中
│ └─ エサ枠のチャラ男チャラ女たち（キャラwild）
│ └─1人が「この海には（伝説wild）があって……と言い出す
│ └─1人行方不明（キャラwild）になる
│ └─ チャラ男が（有力者wild）に危険を訴えるが（理由wild）により断られる
│ └─相手にされないチャラ男たち、お互いの（悪口wild）で罵り合う
├─2幕目
│ └─祭が開始される。突然（空間wild）の中から（突然変異wild）した（サメ外見wild）が群衆に襲いかかる
│ └─（反撃wild）にもかかわらずサメは人間たちを（面白死亡wild）で食べていく
├─3幕目
└─（ひょんなことwild）で、サメは姿を消す
└─（人間は愚かwild）というテーマっぽいことを語る
書いてて思ったけど別に港町じゃなくてもええんよな、雪山とか砂漠にもサメ出るし >>828
公式がQwen3-30B-A3Bの方を勧めてる（openhandsと組んで検証したみたい）
ただまだcloudeやgemini2.5proが圧倒的だね
swe benchに圧倒的な差がある text-generaton-webuiを2.6から3.2に上げたら
ST経由の出力がとんでもなく長くて繰り返しが多くなってしまったんですが
解決法知ってる方いますか？ >>826
更新サンガツ。アイデア出しの時に詳細情報の各項目を出力に含める含めないを指定することは難しいんかな？
設定が長いとプロットだけ書いてほしいときに時間かかるんや。 >>835
大葉とST共にキャラカードとかチャット履歴をバックアップ取ってからクリーン再インストール >>835
アプリの更新で出力の雰囲気が変わるのは俺もあったな
画像生成でもそういうことはあるしある程度は諦めて調整し直すしかないと思う ■ このスレッドは過去ログ倉庫に格納されています
