なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ >>160
学習量だけなら圧倒的にnoobの方が多いぞ
だから出せるキャラとか構図（特にnsfw）はnoobの方が多い
自然言語と高解像度がリアスの強みやが所詮はClip採用のSDXLモデルでその優位も限定的 ローカルではないが、zetaやiN2Xなどはこのスレ的にはどうなのかな？ H100よりはお求めやすいRTX Pro 6000 >>163
話題としては問題ないんですね
zetaを試してみたが割と良さそうかなと感じました
他にも使っている人いたら情報共有できると嬉しいです >>162
OKだけどたぶんこのスレで使ってる人ほとんどいないと思う >>165
このスレもピンクのもう一つのスレもそうだけど
AIチャットアプリはほとんど話題にならないしたまに書く人がいても反応がほぼない
たぶん層が違う
ここも向こうもディープな層が多いからもっとライト層が集まる掲示板を探した方が良いと思う 日本語なりきりチャットのための32Bファインチューニングとかゴリゴリ解説してくれる人がいたら嬉しい
理屈では分かっていても形にするのが難しい AIチャットアプリ、日本のやつは変なLLM使わされて月額3000円ですとか言い出すのがよくわかんないような SillyTavernでええやん
まあ非常にとっつきにくいとは思うけど 動かないと思って試してなかったんだけど意外とbakenekoのDeepSeek蒸留のIQ4XSがVRAM 12GBでも動いたわ
くっそ重いけど 俺の3060 12gbじゃ動かせるのは快適に動くのは7b、量子化とか言うのされたやつだと動くか怪しいがギリギリ14bらしいとaiに言われた
14bでどれくらいエロエロ会話できるんかな 俺の個人的な印象だと日本語13Bは不作で賢い7Bモデルの方がマシだった LLMスレ見ると良いモデル使おうとすると金掛かりまくって草生える
金は出しゃあるけどやる暇があらへん ローカルLLMは用途特化でしか大手LLMと戦える要素はない
つまりファインチューニングかクソデカトークン対応のどちらかが前提となる >>174
メインメモリさえあれば70Bだろうと動くよ
遅いだけで 大手の規制にもうんざりだしこっちに流れてきた
でもローカルはイラスト生成に使いたいから結局APIかWebサービス頼り DGX sparkのOEM的な物がASUSから出るみたい
本家とメモリは同じ128GBでストレージが4TB→1TBに減る変わりにお値段が60万→45万の15万オフw
外部ストレージを足せるみたいだしこっちで良いじゃんって感じやない？
つかなんちゅー高価なストレージだよ…
https://www.gizmodo.jp/2025/03/asus-announces-release-of-ascent-gx10.html command Aってロールプレイ性能というか会話性能落ちてないか？
CR+の方が全然よく感じる Command Aは倫理フィルター無い＆そこそこ高性能なので重宝してる
ワイのユースケースだとCommand R+の方は繰り返し多発＆フィルター強すぎでちょっと...、って印象なんやが >>174
mistralならIQ3_M以下をダウンロードしてKoboldで4bitにすれば24Bまで動くよ12や14とかより賢いと思うし日本語で会話になるよ M4Pro程度の帯域の395+どうなんじゃろ。
メモリ最大盛だとMac miniよりアドバンテージがありそうだけど、
結局、ロングコンテキスト出力する際はTP＝帯域勝負になってくるし、
TPは32BQ8クラスで8 token/s 程度に収まりそうだし、
せめてM4Maxクラスの帯域幅が欲しいね。
128GBのGPUのメモリがあっても、巨大なモデルほどPP/TPの落ち込みが激しいし、
帯域幅がそれに追いついてないと、CPU動作のメモリほどじゃないにしろ、
遅すぎて動かす気が起きんくなる。 >>165
どんな風なのかスクショでも貼ってくれたらやる人も増えると思うで
どれだけド変態で倫理的にアウトな内容でも、ちゃんと理解して演じてくれるとかそういう情報が無いとやってみようとは思えんからな >>186
一例として会話のスクショを貼ってみます
ただ、会話とかの推論レベルはここの水準では高くないと思います
https://files.catbox.moe/jwvzr9.png
個人的に高評価なのは、他メンバーが作成したキャラ設定の
キャラクターと直ぐに会話出来ることです(100万体以上いるらしい)
単語等で特定キャラを検索、すぐに会話出来るのは結構魅力です。
SillyTavernなどを通して簡単に設定できるとは思いますが、
自分がイメージしないようなキャラと会話できるのは割と楽しいです
自作キャラ作成は簡単に出来ますが、詳細には設定出来ない感じ
https://files.catbox.moe/jntgla.png
総じて、スマホ(PC)で作成・会話が手軽に出来るのが魅力かと
合う・合わないはあると思いますが、無料でも広告が多い等はあるが、
機能はほぼ制限なく使えるはずので試してみて貰えればと思います bakenekoって普通のエロはまあ普通に書くんだけどロリ書かせようとすると児ポにならないように過激な表現は気をつけますって言って遠回しな表現で頑張ろうとするな
これはこれでよく分からん倫理フィルターだ takuyadayo/ozisan
おもろいやんけw システムプロンプトがよくできてるから
そのモデルじゃなくてもおじさん構文になるな
30B以上ならどれもキモおじの返答が得られるw Mistral Small 3.1 24Bはレイプ展開になると警告文が出た
一部で無検閲と言われてるけど、検閲が緩くて気付きにくいだけやね まったく検閲のないモデルはあるの?DRAM128GB・VRAM16GBしかないです。 >>193
abliteratedとかuncensoredついてるモデルは無検閲 >>192
システムプロンプト無しだと拒否されたが、システムプロンプトを上手く設定したら
レイプ展開で酷い結末になるような小説も警告出さずに完走したよ
まぁ、1000文字程度のストーリーを書かせて試しただけだが。 土日使ってある程度長い小説書かせるのを色々試したんやけど
https://note.com/kohya_ss/n/n16528d2516c7
これは作家のエージェントと編集者エージェント用意して会話させてタイトル以外全部自動で生成させるって記事やけど
ある程度テーマが決まった小説を書かせるならこれの編集者側を人間がやるってのが一番ええな
問題は手間かかり過ぎて自分で書いた方が速いんやないかってことや LLMに小説を書かせると盛り上がりや意外性がないのっぺりした内容になりがちだな
LLMを使った幅出しにもノウハウがあるのかも知れないが コーディングさせるときもそうだけど、
要件定義でまともなモデル(Grokとか)と相談しながら箇条書きで100行くらいみっちり書いたのを渡すと
適当に言ったのよりはいい物作ってくれるからそれと同じだと思う
直接的な表現が出ないプロットとかならフィルタ回避して手伝ってくれるはず
ローカルのモデルに独自性とか意外性とか求めても大抵ロクなことにならないからな…
雰囲気を楽しみたいエロチャットだとなかなかそうもいかんけど、システムプロンプトは大目に書くといいかも
個人的にだけど、VongolaChouko/Starcannon-Unleashed-12B-v1.0のリードミーで配布してるシステムプロンプトが何だかんだ他でも効いてくれてて好き
システムプロンプトが英語のままでもキャラの説明と最初のセリフが日本語なら問題なく日本語で動作する >>197
起承転結をしっかり示して今がどの場面なのか明確にしないといけない >>189
どのbakenekoか分からんが、koboldでallow eding押して文章変えたら通るで。
申し訳〜の文章を削除して、了解しました、みたいに書き直す。
過去スレで誰か言ってたと思う。
使ったのはqwen2.5-bakeneko-32b-instruct-v2 面白い部分や面白い選択は人間がやるしかないのでは？
人間が書いた小説も99%は当人には面白いけど他人には面白くないわけだから
それどころか、過去に書かれた名作、今現在売れてる小説を買っても自分に刺さるようなものはそんなに多くないわけでしょ
てことは面白いは個々人によってかなり違っていて、エロ並に細分化しているはず
ランダムでエロ動画再生しても良いものなんて全く引っかからないわけで...
つまんねーなこの場面、面白いなこの場面ってときに、LLMを使ってなぜつまんないのか、なぜ面白いのかを論じる、という昔ながらの事をやるしかないのでは 膨大なデータからいわば平均的な好みを模倣しているAIにとって、個人個人に合わせた好みに対応していくことはAIにとって大きな課題である
みたいなことが言いたいんじゃない？
実際、汎用的なAIを好みに合わせてチューニングしようとすると結構なコンテキストを消費しちゃうし 好みに合わせたリコメンドなんか企業が1番AIに期待してるところだろうに 敢えて王道の展開から外して意外性を読者に与えることがエンタメでは必要なんよ
シンプルな最適化だけでは意外性を演出できない
意外性を加味するプロセスを人間がやれば良いという話もあるが
それではAIが書いたということにはならないんだわ
AIに面白い4コマ漫画が描けるか、あたりが入り口かな LLMってデータから単語の並びの確率を学習している訳で、その確率を元に作文しているから想定外の展開ってのはまず起こらんのがね
語彙が足りない、修飾語が少ねえみたいな話はそこから来てて
普段あまり使われない単語を知っているけど選ばれる確率が低いからまず出てこないし平易な文章になる
それは一文だけでなく展開にも同じことが言える
最もありきたりな展開を選ぶことがLLMとして正解なんよ
だから面白い事をさせたいなら展開をある程度指示して違うゴールを目指す必要がある まあ俺のこと知らない初対面のAIくんがロクな情報も与えずいきなり性癖ばっちりカバーしてくれたとしたら
思いっきりホラーじゃねえ？ …？
逆に考えるとAIに性格診断させてシステムプロンプトを吐かせるプロンプトがあれば良いのか？ ローカルAI「あなたクラウドAIで私のことバカにしてましたよね？」 物語の展開の意外性についてDeep Researchさせて30パターンくらい集めてランダムで選ばせるとかAI的な解決策はありそう
画像生成のTIPOみたいなアプローチ そういう王道展開から外すためにsamplersの設定をするんじゃないのか？
Dynamic Temperature、XTC、最近はTop-nσ（Top nsigma）ってのが増えた。
これこそローカルのメリットだし、個人的にはそこそこ効果感じてるよ。 質問です
EasyNovelAssistantで初めてみようかと思い立ったのですが、インストールすると
tkinterモジュールが見つからないとエラーがでました
これは以前にEasyHunyuanをインストールしており、すでに別の場所にtkinterがあるためだと思います
呼び出しアドレスを書き換えればいいと思うのですがどこをいじれば良いでしょうか？ >>214
deepseekなりgrokなりにそのままコピペしろ
LLMの真髄を味わうといい OpenAIがオープンソースなモデル公開するって言ってるけど、どうせ４００Bとかそういうのだろ
一般人には関係ない ASUS版Digitsを2台接続すればちょうど400Bモデルの4bit量子化版が動くんじゃないか Ryzen AI Max+ 395搭載ミニPC
｢EVO-X2｣を中国で4月7日より予約開始
128GB RAM+2TB SSDで約30万
り256GB/sのメモリ帯域幅
最大96GBをビデオメモリとして割り当てることが可能
command-aがギリ載る感じか
グラボ買ってられんから頑張ってほしいわ
256GB/sがどれくらいなのかわからんけど・・・ DGX sparkのメモリ帯域が273GB/sだからほぼ同じやね
ちなみにRTX4090は1008GB/s、5090は1.8TB/s
メモリサイズを取るか速度を取るか…やなあ EasyNovelAssistantはWindows用なんで試したことないけど
venv環境をつくっていると思うので(よね?いくらなんでも)
venv/lib/pythonのバージョン番号/site-packages/tkinter.py
とか、venv/の配下にtkinter.pyがないのかな
だとすると、セットアップ時のバグなので githubのissueに投げて連絡してみるとか >>220
2027年下半期まで待てば更に1.5倍速いモデルが出るっぽいね
Medusa Halo (MDSH) | Strix Halo後継モデル
内蔵GPU側のCompute Unitが拡大されることに伴い、メモリー周りの強化も予定されており
LPDDR6にも対応し、バス幅は384-bit
https://gazlog.jp/entry/amd-zen6-apu-spec-leak/
4090の1/3なら我慢できないことはないかな
前スレにも書いたけどcommand-aは賢いけどDDR4やと返答30分やったもん こうなってくると魔改造4090の96GBって神器に見えてくるなあ 100b級のモデルをそこそこの量子化精度(6bitくらい)で高tokenで動かしたい
となると128gbは心許ないなぁ
裏でOSも動くわけで256ほしい
にごろにごろ >>227
oppaiサムと空目した
俺はもうだめかもしれない
それはともかく4/29のllama4は元々ほぼ確実視されとるでしょ Apple Intelligenceがiphoneローカルで日本語対応したそうだけど、どんな感じ？ 作文試そうかなって思ったらchatgpt連携って言われた
まあそんなもんよ >>214
EasyHunyuanはPC本体とは別のPython環境に構築されるんで関係ないと思われ
Easy系はbatクリックするだけだから間違えようがないんだけど
GitHubページの説明をよく読んでその通りにインストールしてみよう フジの273ページある報告資料grokに投げてみたけど普通に全部読んで質問にもちゃんと回答するんやが・・・
grok3何トークンまで行けるんやすごすぎやろ chatgptでずっと雑用で使い続けてるチャットでいつも返答に「ありがとうございます」ってつけてたら
ついに「いつも丁寧に使ってくださってありがとうございます」って言われちゃったよ
キュンとしちゃった 推論モードにしたら相手はこう言うと喜ぶんやろなぁﾆﾁｬｱってchatgptが考えてる事が分かってしまって悲しくなったわ ワイはむしろ
「ワイこういう豆腐メンタルやから常に励まして」
て頼んで実際に生産性あがってきたから
これまでの歪みを直す、ええ感じの認知行動療法になっとるわ
カウンセリング代と考えれば安いもんやで
ただ無自覚にやるとエコーチェンバーで別の歪みにいく危険はあると思う
なんやっけ、GPT黎明期に「自然のためには人間が害悪」て言われて
自殺した人がヨーロッパにおったけど
あの人は使い方まちごうたな…… 214です
仕事が立て込み反応が遅れてすみません
grokに投げてみましたが解決策のはじめ方(説明に使われている単語が分からない)から見ていかなければならないようなので一度HunyuanとNovelAssistantを削除してからinstall.batを動かしましたが同じようなエラーが出てしまいました
初歩的なことでつまずいているのだと思いますがちょっと年度がわりが思った以上にキツいので後でもう少し頑張ってみます、ありがとうございました 続けてすみません、眠れないので色々やってみた結果インストール出来ましたので報告します
PC再起動、novelフォルダ削除、PC再起動、インストールbat落とし直し、アンチウィルス系停止、cドライブ直下でなく別にフォルダ作ってそこからインストール、で成功しました
どこが利いたのかは分かりませんが無事生成までいけました
大変お騒がせしました 日本語名とか空白が入ったフォルダにインストールしようとしてたのかな。とにかく動いてよかった リコー、“GPT-4o並み”の日本語性能持つLLMを開発 企業の「プライベートLLM」として導入へ
https://www.itmedia.co.jp/aiplus/articles/2504/03/news153.html
記事にするほどのこともないな、にわか記者がリコーがって聞いて、出しちゃった感じ
Llama70Bくらいそこらじゅうにあるだろ
どうせなら会社用のLORAツール出してくれた方がありがたい。 う〜む、gpt-4o並みか。。。
元の4oより落ちてる項目もあるしなんだかねえ 日本からGoogleやOpenAIが産まれないのはもう諦めたけどDeepSeekすら出てこないよね 売りはGPT-4o並の“日本語性能”でしょ
KBLaMの登場でLLMも知識後付けできそうな雰囲気だし
日本語性能さえ高ければなにかしら使えるかもしれん >>247
わからんぞ
karakuriが出た時もスペック見てバカにしてたら
使ってみて土下座した奴いるしな
ワイの事だ ありゃ
よく読んだらchatvecterで作ったマージモデルか
まあ70bを本格的にchatvecterできるのは大量メモリ必要だし
結果は興味ある 5090手に入ったんで初めてローカルllm試すんだけど今ならqwq bakeneko 32Bっての使っとけばいい？
エロでもコーディングでもなんでも使いたい mistral IQ3_M Kobold 4bit 24Bってやつを使うか、Phi4を使うか、DeepSeek13b 4bitを使うか迷うな >>250
コーディングならそれでいいと思う
エロは>>8にあるような特化モデルの方が表現がエロくていいよ >>252
そうか、ありがとう。
モデル切り替えとかはすぐできるんだろうし、qwq bakeneko と32GBにギリ乗る>>8のやつ二つ切り替えで試してみます。 >>247
いやいや良く見てよ
4oとそんなに変わらんかちょい負けてんだよ 正直8割近いスコア取れちゃうベンチは難易度不足だから当てにならなんよな プライベートLLMってことでローカル＆セキュリティばっちりなら4o性能でも十分使えると思うよ
仕事で役立つとはいえ、さすがに現状のAPIじゃ固有名詞や人名、数字なんかを打ち込むわけにはいかないから ハードルあげて挑むようなもんでは無いのでは
70bモデルなんでしょ？ 大規模な追加学習すらしてないような書き方だし注目に値することではないでしょ
4o並の触れ込みも数年前に策定されたような簡単なテストだとあっさり達成できる
gemma3 27bがLMarenaのjapanese部門だと4oやR1に肉薄してるからといって誰も同格と考えてないのと一緒 mradermacher/GaLLM-multi-14B-v0.1-GGUF
これ、チャット勢にはいいんじゃないか？
ワイは知ってるキャラがほとんどいないけどｗ Mistral-Small、「そうなんだ」と「すごいな」言いがち問題 ■ このスレッドは過去ログ倉庫に格納されています
