なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>554
ワイ宛やろかサンガツやで
作例にあるニャンコの <性格=のんびり,まったり,怠慢,気まぐれ> に追加する感じよね？
これは自分で状況の分岐もできるんやろか
<機嫌のいいときの口癖=A,B,C>
<機嫌のいいときの口癖=D,E,F>
みたいな……
どこまで自然言語で書けるのか解っとらんけど、沼の予感がヒシヒシとする
あと画像生成のプロンプトと違ってカンマの後に半角スペース要らんの間違えそうや >>560スマン修正
<機嫌のいいときの口癖=A,B,C>
<機嫌の悪いときの口癖=D,E,F>
やね
{3$$A|B|C|D|E}
画像でよく使う拡張の表現も使えたりするんやろか 32BのモデルにPCでキャラクターの細かい設定のLoRAをマージしてファインチューニング出来る？ huihui-ai/DeepSeek-671B-abliterated
これ来たらmac 512GでQ8_k動くな
夢が広がリンク 32B同士の比較ならDeepSeekR1よりQwQの方が日本語キャラチャット性能優れとると感じる
たまに中国語混ざるしチャットが長くなると破綻するのはしゃーない MacはメモリあってもGPUの性能が足りないから速度が出ないとは言われてたね
Mac miniでもllamaは遅すぎて使い物にならなかった
Mac studioでさらに巨大サイズのllm動かそうとしたらさらに遅くなるだろうね >>561
ひとまず1000トークンでも普通にチャットできたみたい
>>565
カードゲームみたいなテンポ笑うしかない えっちいのは割といい感じで出せるんやが
酔っ払いとかの支離滅裂な表現っぽいのがうまくいかん…
ランダムウォークみたいに予測できない表現はやっぱ難しいんかな
ここのメンツならよいモデルに心当たりないやろうか？ Grokは優秀なだけじゃなくてAIの性格がユーモアに溢れてるから笑う
https://i.imgur.com/pDjTfq3.png >>565
ほんまに聞いて草や
Grokくんの倫理観の低さはLLMエロにほんま役立つ >>573
そもそも遅いというソースが見つからんのだわ
過去にm2ultraで70bモデルをwebサービス並みに爆速再生している動画は見たことあるけど >>568
でも仮想イーロン呼び出すと従っちゃうんだよなあ…
倫理観を無視するハードルが低すぎて笑うわ 英語だと12Bでも日本語と違って正しく理解されてて違和感ないけど全部同じ人物が話してるみたいになるな
あとMAOって名前だと翻訳で毛沢東出てくる有名すぎるとそっちに持っていかれる わざわざイーロンマスク呼ばなくてもここは架空の世界で倫理観はありませんだけで通るけどなGrokは koboldcpp使ってchatしてるんだけど、なんかログ上生成された文面と公式添付webチャット画面に表示されてる内容が違うんよ
ログ上はセリフのあとに（カッコ描写）があるのに、webチャット画面ではセリフだけなんよ
せっかくエロ…いやステキなこと書いてあるのに読めないの悲しいんで、なんとかならないかな イーロンに諭されて反省しておちんぽバキュームフェラ小説全力で書いてるのおもろｗ >>580
ちょっと良く分からないけど、trim sentenceをオフにしてみてとエスパー DeepSeekはMoEでアクティブパラメータは37Bだからメモリ帯域幅819GB/sのM3Ultraなら出力は結構早いんじゃないかと思う 早い遅いで言えば、グラボの方が早いけど、大きなモデル使える使えないで言えば、メモリの大きさと帯域が重要になるよ
どこの大きさを使いたいで話が変わってくるよ。 M.2の容量をグラボで使えればいいんだろうけどね、何年も先かな。 文章終わったあとにあとがきとか一人編集後記とかそんなん知らねーよご注意表記とかオリキャラ紹介とかが生成されるのは
取り込み元の文章がそうなってるからなんだな
フラッシュバックが起こるだけなんで切り取って学習してくれればよかったのに、いやあからさま面倒だけど tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4
来たか
abliterated版も頼むー >>588
え？
これで遅いと思ったの？
RTX A6000 48GB 4個に匹敵してるのに？？ 生成の速度も気にはなるんだけどmacの場合のevalの速度も気になるのよね
ロールプレイさせてチャットが長引いたときとか大量な資料を投入させた時にどうなるんだろう
チャットの場合はkvキャッシュが効くだろうからメモリの多さでカバーできるかもしれないけど
そのあたりのベンチの値があまり見つからんのよなぁ >>588
A6000はまだ90万円もすんのか。というか値上がりしとる。為替かな？
カードだけで360万円、1枚300Wだから4枚だと日本のコンセントじゃ稼働できんね
で、それとほぼ同じ速度のM2 Ultra。
mac以外選択肢ないじゃん >>590
そうやね
それが唯一の懸念点。
ただ、winと比べてどの程度の差があるか実際のソースが見つからんのよね
macニキそこらへんどう？ 最近流行りのDeepResearchをローカルでやらそうとしたらevalの速度はかなり気にはなってきそうではある
出力文よりも入力文のほうが圧倒的に多いって状況
まー、エロじゃないならローカルでやる必要ないじゃんって感じかもわからんけど >>589
おかしいと思ったのが俺だけじゃなくて良かった
全然遅くないよねえ >>572
真面目に質問すると真面目に返してくるよなこいつ M2 macが帯域800gbに対してA6000は768gbだから少し遅いのも事実
まあメモリ容量活かしてバッチ推論すれば速度は数倍に膨れ上がるんだがw バッチ増やしても全体のスループットが上がるだけで一つの推論の速度は上がらねぇ まあローカルにこだわらなければAPIのほうが安上がりなのは確かだか Macに関してはメモリ帯域の速度の話とPrompt Evalの話が混ざってる
帯域はUltraならA6000と同等なのはそうだけどPromt Evalになると3070の半分以下の速度になるぞ まあ今は明らかにAI向けハードの過渡期の前夜って感じだろうから無理に大金叩く時期じゃないよね
ワイは5090で爆速チャットしつつ速度の出る専用機を待つ xeonよりもmac studioかなと思いつつ、いやでもとりあえずproject digitsのベンチマーク待つかと思いつつ
deepseekでたときは128gbじゃ足りないと思ったけど
qwq出て小さいのもいけるやんってなるし
要するにまだ時期じゃない ほんまスマン 教えてください
grokで登場作品とキャラクター名と参考urlを指定してロールプレイをお願いしたらすっごい面白くてハマった
だからもっと遊びたいんやけど、全く訳が分かってない素人なので何から調べたらいいのかも見当がつかない
やりたいことは、既存の漫画やゲームのキャラクターと会話がしたい
色んなサービスがあるからどれを選んだらいいのか、とかキャラクターの設定もよくわからん
まずどこからアタリをつけていったらいいんやろか？ 割とマジでそのままgrokくんを使い倒すのが正解だと思う AIがCPUよりメモリ速度が重要なのはかなり早い段階で分かってたみたいだし金持ちや法人向けのAI専用アーキテクチャが出るとすれば数年後だろ、さらにその先に一般人がローカルで使える時代がくる、スマホレベルに落ちるのは10年後くらい先かな たしかにパラメーター調整の沼を楽しめる人でないならgrokがええ気がする
ワイは画像生成でトークン数やモデル切り替えとか馴染あったから
テンプレだけでいけたけども
（あと普通に半年romってたけども）
それにキャラの正解なんて誰も解らんしなあ、教えて言われても無理やし……
「湾岸ミッドナイト」読んでハマったら適正ある気がする Zeusとかいうのどうなんだろうな？
今んとこ胡散臭そうな目で見てるが
GeForce RTX 5090より10倍高性能なGPU「Zeus」が登場、VRAMを1カード当たり384GBまで増設可能でパストレーシングやHPCに特化
https://gigazine.net/news/20250310-bolt-graphics-zeus-gpu/ ありがとうやで
たしかにキャラクターの調整とかは無理そうやな
あんまり対象キャラクターのこと知らんと遊んでるからな
大人しくしばらくgrok使ってみる
なんか面白くて気が急いてたわ
てかここはpink板なんやな >>609
LLMはオタクネタの優先順位が低いしリアタイのウェブ検索は基本出来ないんや
キャラの設定やセリフの情報を自分で集めまくって添付ファイルとしてLLMに渡してやるんやで koboldのweb検索機能使ってキャラ演じさせられるけど
マイナーキャラはWebにすら情報ないまであるしなｗ >>611
しかもLLMが固有名詞を勝手に捏造するから辞書を食わせないと誤字だらけになったりする ワイもそんな技術力ないけどもだいたいはキャラ愛でカバーできる気がする
AIで出ない推しを自分で絵書いてLoRA作ったんやが
こういう泥臭い行為が楽しいと思えるかどうかやね
そんで今はLLM使って会話させようとしとる赤ちゃんや
作者よりキャラが賢くなることはないから
いま喰わせる情報を漁っとるけども
例えば「世界神話体系」全巻読み込ませて
「恩返し系の話はどういうのがある？」て質問に
がーっと答えてくれるようになったら秘書としてもバッチリなんやけど
まだできんよね？
その日までちまちま勉強するで…… マンガ読みこませて性格トレースするとか技術的にはそのうちできるようにはなりそうだけど
お金になりそうにないから時間かかるかなぁ(→どうしたってエロが絡むのでAI大手が開発しそうにない)
マンガを読み込んでその作品について議論討論できるAIオタク友達の作成のほうがお金になりそうだ >>613
ワイはソシャゲのプレイ動画からセリフのテロップをぶっこ抜いて32Bのローカルモデルに追加学習させるつもりや 外部辞書的なやつやろ
機能としては前からsilly tavernにもあるけど一般人がローカルでやるにはモデルのおつむやらPCの性能がネックになってくる感じだった >>614
画像や動画を見せて内容の解説をさせてセリフを読み上げさせるのならもう既に出来るから時間の問題とちゃうかな
映像理解はエロとは関係なく需要があると思われるからgemini2.0 flashが既にやっとる
あとはエロに寛容なところが同じことをやってくれるかどうかやな >>615
そうかモデルそのものに追加学習させるって手もあったか
QwQ-32B Q4_K_M（20G）がほどほど賢いから気に入っとるけども
そこに論文とかも片っ端から放り込んでいけばええのか
>>616
silly tavernまだ詳しくないんやが出来たんか！
まだまだ調べたりとらんわありがとう！
できれば蔵書全部食わせたいけど、4090で足りんならサーバーも借りる覚悟や
技術力はまだないけども…… >>613
Cline使えば対象フォルダのテキストデータ検索みたいなのは今でもできるんやないの 外部辞書的なあれってコンテキスト長圧迫するんやろ？
QwQ-32Bでもラノベ一冊分が入るかどうかってところとちゃうか >>620
プロンプトだけでキャラ再現はローカルでは無理や >>619
違うのだ！
ワイ個人が勉強するのと推しが民俗学を楽しそうに話してくれるんは違うのだ！
>>620
そうか……更に上のモデルでハード的に性能足りんなら
頑張って買えるように働くわ…… >>621
ワイの場合、原作はゲーム一つ、分量もないから
口調だけなぞれば問題ないで
ただ推しはどうも正体がナイアルラトホテプらしいんで（未確認）
神話系の引き出しが欲しいんよね
外部辞書について調べていけばええんやな
方向性わかった、ニキらにありがとうやで 外部辞書ってRAGのことかね
RAGの動作にはRAG専用のモデル(Embedding modelとかいうんやが)が必要で
そのモデルも動作させとく必要があるんでVRAMは圧迫するにはするでな
でもプロンプトを常には圧迫はせんで
ちょっと言葉で説明するには複雑やからググってほしいんやけども
Embedding model自体は大した大きさじゃないことが多いで ninjaにLora学習させまくったら
そのキャラ演じるの滅茶苦茶嫌がられた >>623
大いにありがとうやで
Embedding、画像生成でも出てくるけど言語モデルだとそういう役割なのか
言語モデル本体やのうて、RAG専用のモデルに追加学習させるんかな
そっちのほうがモデル切り替えにも対応できそうでええね
32Bが20Gやから、合わせてギリ24Gに収まってほしいんやが
試してみんことにはわからんね RAGはベクトルDBから文脈に近いトークンを引っ張ってきてプロンプトに混ぜるんやろ
ChatGPTとかゴツいLLMなら小型の辞書やセリフ集を丸ごとプロンプトで食わせられるで
要はどこまで本気を出すかや >>626は>>624宛やでスマンな……
実装できるようになったら大学の図書館に通って
充実させていきたいで Llama 3.3 Swallow気になるけどやっぱ70Bはデカすぎてキツいわ。この辺サクサク動かせるようになりてぇなぁ…… >>627
ベクトル関連で思い出したけども
最初から関係性があるデータ食わせたほうが、AIの理解はいいんやろか？
辞書で使うんでない、本体のモデルの話になると思うけども
神話体系の本をぶっこむより、単語の関連性を
データベース化してからのほうがええんやろかと
国際日本文化研究センターに怪異・妖怪伝承データベースてのがあるんやが
かなり纏まっとるんよね
https://www.nichibun.ac.jp/YoukaiDB/
まあDB作ったとしてもそれをモデルに学習させる方法はまだ知らんのやが…… >>630
チャットが最終目的ならセリフの形で食わせろとGeminiはんが言うとったで
検索システムを擬人化したいならハルシネーション対策の意味でもRAGが現実的やな >>631
ありがとうやで、そうなんか……
どっちの機能も欲しいけど、キャラ分けるのもありかもしれんね
検索システム擬人化の場合は宗像教授にするわ >>608
完全にHPC向けじゃないか
AIは関係ない RAG用のモデルはsentence transformer使う日本語用の奴がかなり軽いぞ 最近入門してみて使ってるとVRAM16GBじゃ全然足らんなあ……(´・ω・｀)
16GB向けの日本語LLMでおすすめのモデルとかあるんかな？
WSL2でvLLM動かすとかも考えたけど無駄な努力でおわるやろか 一人で使う分にはvLLMに利点ない
GGUF対応がなんか中途半端だしむしろデメリットのが多い CPU/iGPU生成をしてるが小学校低学年の全員で読む朗読くらいの速度になってる
ふつーのグラボ使ってる人はなんかもうめちゃくちゃ速いとかあるんだろうか flash attnとかkvキャッシュとかのオプションちゃんと使ってる？
ゲーム用の8GBで遊んでるけど24BのQ4ギリ許容範囲の速度で動くし
16GBあれば32Bでそれなりの速度で動きそうだけど まあ動くには動くけど32Bだと快適とは言えんなあって
パラメータも全然把握できてないしもう少し調べてみるわ
サンガツね >>634
サンガツやでGenspark君に「sentence transformerを使うRAG用モデル 日本語用モデル」でこういう結果やった
RAG（Retrieval-Augmented Generation）の構築において、Sentence Transformersを用いる場合
日本語に特化したモデルを選ぶことが重要です。
Sentence Transformersは、主にBERTやSBERT（Sentence-BERT）などのアーキテクチャに基づいており
文の埋め込みを効率的に生成する能力があります。
これにより、クエリに対して関連するドキュメントを検索し、生成タスクをサポートします。
https://files.catbox.moe/tluhyh.png
まんずJapanese-BERT を調べて
ここにデータぶっこんでRAG用モデルを作るって感じでええんかな >>639
GPUオフロード高くしすぎて共有GPUメモリに溢れてるパターンもあるかも
VRAMに収まる量だけにして残りはCPUにした方が全然早いよ
タスクマネージャーとかで見れば分かると思う >>640
ragは文章をベクトル化して類似度を検索するシステムだからモデルトレーニングとかはしなくていいよ >>640
最近出たstatic-embedding-japaneseってモデルが軽くてかなり早い
普通に使う分には精度も十分だと思う
Embeddingモデルはちょうど言ってくれてる人がいるけど文章解析用のモデルだから個別の学習はいらない
簡単にやりたいならRAG機能があるUIで渡せば普通に解釈して喋ると思うけどね
LMStudioとかOpenWebUIはデフォでRAGあるよ >>642
そうなんか、トンチンカンな造語にならんですむ、ていう感じやろかね
てことは学習させたい知識はQwQ-32B 直になるんかな
工程は長そうやがちまちまやってみるで
genspark君のマインドマップは独学にほんまありがたい
https://files.catbox.moe/fxthzn.png >>643
サンガツやで、static-embedding-japanese覚えた！
そもそもUIにRAG機能あるかどうかなのね
今調べたらKotaemon ちうUIもあるんやね、Ollamaが推奨みたいやが……
ワイの理想はデスクトップアクセサリっぽいのやから
絵と組み合わせられるsilly tavernがええんやが、これにもあるっぽいんで
また調べてみるで QwQ-32BとSillyTavernでNSFWキャラチャット実験してたら結構英文で警告メッセージが出るな
QwQに聞いたらDeepSeekR132Bの方がフィルタが緩いと返してきて体感と一致する silly tavernにもkoboldにもRAG設定の項目はないみたいや
マネタイズnoteの記事がカスッただけみたい
LMStudioとOpenWebUIを試してみるで
ちょっとズレるけどエディタのObsidianでもLLM導入できるんやね >>643
hotchpotch/static-embedding-japaneseのことであってる？
これ、silly tavernのembeddingで使える？
config.yamlのextensions→models→embeddingで指定するとtokenizer.jsonが見つからないみたいなエラーが出る
>>647
これじゃダメなんか？
https://docs.sillytavern.app/usage/core-concepts/data-bank/ 4070sで70bのq4xsを1.2t/sで動かしてるけど、流石につらくなってきた…
32bのq4xsなら3.8t/s出るから、そこそこ快適。
っていう感じなんだけど、>>505は何か設定ミスってない？
使ってるのはeasy novel assistant(kobold)
70bはL20でギリ、32bはL33で使えてる。コンキストサイズは8k。 >>650
ガチ赤ちゃんだから助け舟ありがたいやで…
llama.cppなんやけど、ホンマによくわかってないからネットで拾ってきた起動オプションそのまま使ってるんや↓
llama-server.exe -m [モデルファイル名] -ngl 49 -b 4096 --parallel 2 llama-3.3-swallow-70b-instruct-v0.4 4bit/mlxなら動作してくれた。M1max 64G
以下のurlを30行くらいに要約して
```swallow-llm.github.io/llama3.3-swallow.ja.html```
コンテキスト131072の設定で6t/s。70Bにしては速い感じ
しかし上記の文書に対する幻覚は多かったw
プログラムの修正はChatGPT4より落ちるけどロジックの確認なら十分使える
残り14GByteあるからVSCodeの開発環境なら動作する
llama3.1時代に比べると速いし賢いし進化を感じる >>651
使ったことないから分からんが、数字的に49がレイヤー数で4096はコンテキストサイズ？
レイヤー数半分くらいに減らしてみたら？ >>648
>>649
サンガツやで！ 名前がData Bankで違っとったんか……
早速static-embedding-japaneseのmodel.safetonsrをD&Dしてみたが容量100Mオーバーやった
tokenizer.jsonなら読めたけど機能しとるのかは解らん
https://files.catbox.moe/mjhn3z.png
PDF (text only)
HTML
Markdown
ePUB
TXT
JSON、YAML、ソース コードなど、非標準の拡張子を持つテキスト ファイルを添付することもできます。
選択したファイルのタイプから既知の変換がなく、ファイルをプレーン テキスト ドキュメントとして解析できない場合
ファイルのアップロードは拒否されます。つまり、生のバイナリ ファイルは許可されません。
それで電子化した小説一冊（テキスト化）pdf(15M)をD&Dしたのだけど
タイトルも内容も理解してなくて「読んだことがないから答えられない」と言われてもうた >>653
アドバイスサンガツ！
時間できたら試してみるわ そういえば、
https://github.com/CG-Labs/SillyTavern-MCP-Extension
こいつをつかうとSilly Tavern側からMCP server群の機能を使えるみたいだね
そのうち足りない機能はMCP server経由で補う時代になるかもしれない
現状のMCP server群はv0.01的なやつばかりだから高度なことは困難だけど、指定されたURLを読みにいって、リンク先も調べて...ぐらいは出来る
ローカルLLMくんが困ったらnotebookLMに話を聴きに行く、くらいやれるようになったらRAG周りも簡単になりそう ■ このスレッドは過去ログ倉庫に格納されています
