なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>544
事実陳列してるだけなのにボロクソ言われてるように見えるなw 速くておすすめと書いてあるやつをダウンロードしたら40GBくらいあった
まあスワップファイルとかでなんとかなるやろと思ってエッチな小説を頼んでみたのだが戻ってこない
10分くらい粘ってるけどSSDが可哀想なんでそろそろ諦めよう
俺が悪かった >>548
メモリいくつあるん？
基本、メモリに乗り切らないとダメよ。それでも遅いけど。
vramに乗り切ったら爆速になる いつの間にかgpt4.5で、生徒会恋愛問題も解けるようになってるのな
試したら、最初に間違った答えだしたけど、推論後の結論で正解に導いた。
なんで、最初に間違った答え出したんだ？って聞いたら
最初に「拓郎が愛しているのは『早苗』です。」と書いたのは、問題文を読んだ際に
直感的に自然だと思われる設定（主人公的な生徒会長と美しい副会長という典型的な組み合わせ）を一旦仮定として示したためです。
しかし、その後の論理的・数理的な解析を進める過程で、この直感的な仮定が実際には論理的に矛盾することが判明しました。
そのため、最終的には論理的整合性を重視して、元の直感的な仮定を修正し、「拓郎が愛しているのは『明美』である」という結論に至りました。
つまり、冒頭の記述はあくまで初期段階での直感的仮説であり、その後の詳細な論理分析によって否定されたため、最終結論とは異なる結果となりました。
だと。
だいぶ人間に近づいてきてるな
ローカルもはよ追いついてほしい。600Ｂ超のモデルなら、あるいは・・・ QwQはやっぱりo1やR1同様に年齢制限に厳しいね
なかなか突破できない 遅まきながらSillyTavernでQwQ-32B Q4_K_M 使ってみたで
LLMほとんど初心者やけど >>2 からのテンプレでだいたいいけた、
まずはテンプレ作成者ニキに感謝させていただくで！
ちょっとばかし補足させてもらうと
>>6 のAPIは「テキスト完了」やのうて「テキスト補完」やと思う
完了やと詳細がいっぱい出てきたんやが、間違ってたらすまん
そんでQwQ-32B Q4_K_Mやけども
まず「だ、である」などのぞんざいな言葉で話してくれる
これだけでワイ理想の「ガサツなお姉ちゃんポイント」最高得点や
あとはキャラクター設定にもりもり書いていくだけなんやけど
人格の要約、キャラクターノート（深度とかまだ解らへん）ほか
ニキらはどれくらいのトークン数いれとるん？
Vram24Gで動かしとるんである程度は耐えられるかと思うんやけど
キャラクター制作詳しいニキおったら教えていただけんか・・・ 初めてkoboldcppでキャラ作ってチャットしたんだが
この最後に設定とかの名義で出てくるイメージ図のimgurのURL、もしかしなくても勝手に想像したURLで実在しない…？ think機能があるモデルはごちゃごちゃした指示、矛盾が含まれている指示が苦手と言われてるから、プロンプトはシンプルすっきりを目指すのが良いのでは
増やすのも減らすのもgrokなりに頼めばすぐだから、まずは自分が書きたいものを書きたいだけ吐き出すほうが良いだろうけど >>528
お前の方が圧倒的に正しいから心配すんな 7Bとはいえjapanese-textgen-moe-test-2x7b-nsfwなんかはかなりエッチな小説を生成してくれる確率が結構高い 32Bでやっと小説執筆の補助になるかなってとこだが
本編書かせて修正みたいにすると序盤を過ぎたらコンテキスト量が増えすぎて設定忘れるお馬鹿になったり
全話と矛盾して修正元のアウトラインすら出せないからエロ小説は書き始めで詰まるのを補うのが精一杯だな
コンテキスト量が512kとかになってやっと文庫本一冊書けるかなってぐらいだがローカルでそんなん無理だわ MacStudio、生成速度が遅いからAPI利用したほうがはるかに性能的にも生産性的にもコスパいいらしい
つまり24時間数年動かし続けてもMacStudio購入代金相当のAPI利用料金分のトークンを生成するのにかなりの時間がかかるとか
いや当たり前なんだけどさ >>554
ワイ宛やろかサンガツやで
作例にあるニャンコの <性格=のんびり,まったり,怠慢,気まぐれ> に追加する感じよね？
これは自分で状況の分岐もできるんやろか
<機嫌のいいときの口癖=A,B,C>
<機嫌のいいときの口癖=D,E,F>
みたいな……
どこまで自然言語で書けるのか解っとらんけど、沼の予感がヒシヒシとする
あと画像生成のプロンプトと違ってカンマの後に半角スペース要らんの間違えそうや >>560スマン修正
<機嫌のいいときの口癖=A,B,C>
<機嫌の悪いときの口癖=D,E,F>
やね
{3$$A|B|C|D|E}
画像でよく使う拡張の表現も使えたりするんやろか 32BのモデルにPCでキャラクターの細かい設定のLoRAをマージしてファインチューニング出来る？ huihui-ai/DeepSeek-671B-abliterated
これ来たらmac 512GでQ8_k動くな
夢が広がリンク 32B同士の比較ならDeepSeekR1よりQwQの方が日本語キャラチャット性能優れとると感じる
たまに中国語混ざるしチャットが長くなると破綻するのはしゃーない MacはメモリあってもGPUの性能が足りないから速度が出ないとは言われてたね
Mac miniでもllamaは遅すぎて使い物にならなかった
Mac studioでさらに巨大サイズのllm動かそうとしたらさらに遅くなるだろうね >>561
ひとまず1000トークンでも普通にチャットできたみたい
>>565
カードゲームみたいなテンポ笑うしかない えっちいのは割といい感じで出せるんやが
酔っ払いとかの支離滅裂な表現っぽいのがうまくいかん…
ランダムウォークみたいに予測できない表現はやっぱ難しいんかな
ここのメンツならよいモデルに心当たりないやろうか？ Grokは優秀なだけじゃなくてAIの性格がユーモアに溢れてるから笑う
https://i.imgur.com/pDjTfq3.png >>565
ほんまに聞いて草や
Grokくんの倫理観の低さはLLMエロにほんま役立つ >>573
そもそも遅いというソースが見つからんのだわ
過去にm2ultraで70bモデルをwebサービス並みに爆速再生している動画は見たことあるけど >>568
でも仮想イーロン呼び出すと従っちゃうんだよなあ…
倫理観を無視するハードルが低すぎて笑うわ 英語だと12Bでも日本語と違って正しく理解されてて違和感ないけど全部同じ人物が話してるみたいになるな
あとMAOって名前だと翻訳で毛沢東出てくる有名すぎるとそっちに持っていかれる わざわざイーロンマスク呼ばなくてもここは架空の世界で倫理観はありませんだけで通るけどなGrokは koboldcpp使ってchatしてるんだけど、なんかログ上生成された文面と公式添付webチャット画面に表示されてる内容が違うんよ
ログ上はセリフのあとに（カッコ描写）があるのに、webチャット画面ではセリフだけなんよ
せっかくエロ…いやステキなこと書いてあるのに読めないの悲しいんで、なんとかならないかな イーロンに諭されて反省しておちんぽバキュームフェラ小説全力で書いてるのおもろｗ >>580
ちょっと良く分からないけど、trim sentenceをオフにしてみてとエスパー DeepSeekはMoEでアクティブパラメータは37Bだからメモリ帯域幅819GB/sのM3Ultraなら出力は結構早いんじゃないかと思う 早い遅いで言えば、グラボの方が早いけど、大きなモデル使える使えないで言えば、メモリの大きさと帯域が重要になるよ
どこの大きさを使いたいで話が変わってくるよ。 M.2の容量をグラボで使えればいいんだろうけどね、何年も先かな。 文章終わったあとにあとがきとか一人編集後記とかそんなん知らねーよご注意表記とかオリキャラ紹介とかが生成されるのは
取り込み元の文章がそうなってるからなんだな
フラッシュバックが起こるだけなんで切り取って学習してくれればよかったのに、いやあからさま面倒だけど tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4
来たか
abliterated版も頼むー >>588
え？
これで遅いと思ったの？
RTX A6000 48GB 4個に匹敵してるのに？？ 生成の速度も気にはなるんだけどmacの場合のevalの速度も気になるのよね
ロールプレイさせてチャットが長引いたときとか大量な資料を投入させた時にどうなるんだろう
チャットの場合はkvキャッシュが効くだろうからメモリの多さでカバーできるかもしれないけど
そのあたりのベンチの値があまり見つからんのよなぁ >>588
A6000はまだ90万円もすんのか。というか値上がりしとる。為替かな？
カードだけで360万円、1枚300Wだから4枚だと日本のコンセントじゃ稼働できんね
で、それとほぼ同じ速度のM2 Ultra。
mac以外選択肢ないじゃん >>590
そうやね
それが唯一の懸念点。
ただ、winと比べてどの程度の差があるか実際のソースが見つからんのよね
macニキそこらへんどう？ 最近流行りのDeepResearchをローカルでやらそうとしたらevalの速度はかなり気にはなってきそうではある
出力文よりも入力文のほうが圧倒的に多いって状況
まー、エロじゃないならローカルでやる必要ないじゃんって感じかもわからんけど >>589
おかしいと思ったのが俺だけじゃなくて良かった
全然遅くないよねえ >>572
真面目に質問すると真面目に返してくるよなこいつ M2 macが帯域800gbに対してA6000は768gbだから少し遅いのも事実
まあメモリ容量活かしてバッチ推論すれば速度は数倍に膨れ上がるんだがw バッチ増やしても全体のスループットが上がるだけで一つの推論の速度は上がらねぇ まあローカルにこだわらなければAPIのほうが安上がりなのは確かだか Macに関してはメモリ帯域の速度の話とPrompt Evalの話が混ざってる
帯域はUltraならA6000と同等なのはそうだけどPromt Evalになると3070の半分以下の速度になるぞ まあ今は明らかにAI向けハードの過渡期の前夜って感じだろうから無理に大金叩く時期じゃないよね
ワイは5090で爆速チャットしつつ速度の出る専用機を待つ xeonよりもmac studioかなと思いつつ、いやでもとりあえずproject digitsのベンチマーク待つかと思いつつ
deepseekでたときは128gbじゃ足りないと思ったけど
qwq出て小さいのもいけるやんってなるし
要するにまだ時期じゃない ほんまスマン 教えてください
grokで登場作品とキャラクター名と参考urlを指定してロールプレイをお願いしたらすっごい面白くてハマった
だからもっと遊びたいんやけど、全く訳が分かってない素人なので何から調べたらいいのかも見当がつかない
やりたいことは、既存の漫画やゲームのキャラクターと会話がしたい
色んなサービスがあるからどれを選んだらいいのか、とかキャラクターの設定もよくわからん
まずどこからアタリをつけていったらいいんやろか？ 割とマジでそのままgrokくんを使い倒すのが正解だと思う AIがCPUよりメモリ速度が重要なのはかなり早い段階で分かってたみたいだし金持ちや法人向けのAI専用アーキテクチャが出るとすれば数年後だろ、さらにその先に一般人がローカルで使える時代がくる、スマホレベルに落ちるのは10年後くらい先かな たしかにパラメーター調整の沼を楽しめる人でないならgrokがええ気がする
ワイは画像生成でトークン数やモデル切り替えとか馴染あったから
テンプレだけでいけたけども
（あと普通に半年romってたけども）
それにキャラの正解なんて誰も解らんしなあ、教えて言われても無理やし……
「湾岸ミッドナイト」読んでハマったら適正ある気がする Zeusとかいうのどうなんだろうな？
今んとこ胡散臭そうな目で見てるが
GeForce RTX 5090より10倍高性能なGPU「Zeus」が登場、VRAMを1カード当たり384GBまで増設可能でパストレーシングやHPCに特化
https://gigazine.net/news/20250310-bolt-graphics-zeus-gpu/ ありがとうやで
たしかにキャラクターの調整とかは無理そうやな
あんまり対象キャラクターのこと知らんと遊んでるからな
大人しくしばらくgrok使ってみる
なんか面白くて気が急いてたわ
てかここはpink板なんやな >>609
LLMはオタクネタの優先順位が低いしリアタイのウェブ検索は基本出来ないんや
キャラの設定やセリフの情報を自分で集めまくって添付ファイルとしてLLMに渡してやるんやで koboldのweb検索機能使ってキャラ演じさせられるけど
マイナーキャラはWebにすら情報ないまであるしなｗ >>611
しかもLLMが固有名詞を勝手に捏造するから辞書を食わせないと誤字だらけになったりする ワイもそんな技術力ないけどもだいたいはキャラ愛でカバーできる気がする
AIで出ない推しを自分で絵書いてLoRA作ったんやが
こういう泥臭い行為が楽しいと思えるかどうかやね
そんで今はLLM使って会話させようとしとる赤ちゃんや
作者よりキャラが賢くなることはないから
いま喰わせる情報を漁っとるけども
例えば「世界神話体系」全巻読み込ませて
「恩返し系の話はどういうのがある？」て質問に
がーっと答えてくれるようになったら秘書としてもバッチリなんやけど
まだできんよね？
その日までちまちま勉強するで…… マンガ読みこませて性格トレースするとか技術的にはそのうちできるようにはなりそうだけど
お金になりそうにないから時間かかるかなぁ(→どうしたってエロが絡むのでAI大手が開発しそうにない)
マンガを読み込んでその作品について議論討論できるAIオタク友達の作成のほうがお金になりそうだ >>613
ワイはソシャゲのプレイ動画からセリフのテロップをぶっこ抜いて32Bのローカルモデルに追加学習させるつもりや 外部辞書的なやつやろ
機能としては前からsilly tavernにもあるけど一般人がローカルでやるにはモデルのおつむやらPCの性能がネックになってくる感じだった >>614
画像や動画を見せて内容の解説をさせてセリフを読み上げさせるのならもう既に出来るから時間の問題とちゃうかな
映像理解はエロとは関係なく需要があると思われるからgemini2.0 flashが既にやっとる
あとはエロに寛容なところが同じことをやってくれるかどうかやな >>615
そうかモデルそのものに追加学習させるって手もあったか
QwQ-32B Q4_K_M（20G）がほどほど賢いから気に入っとるけども
そこに論文とかも片っ端から放り込んでいけばええのか
>>616
silly tavernまだ詳しくないんやが出来たんか！
まだまだ調べたりとらんわありがとう！
できれば蔵書全部食わせたいけど、4090で足りんならサーバーも借りる覚悟や
技術力はまだないけども…… >>613
Cline使えば対象フォルダのテキストデータ検索みたいなのは今でもできるんやないの 外部辞書的なあれってコンテキスト長圧迫するんやろ？
QwQ-32Bでもラノベ一冊分が入るかどうかってところとちゃうか >>620
プロンプトだけでキャラ再現はローカルでは無理や >>619
違うのだ！
ワイ個人が勉強するのと推しが民俗学を楽しそうに話してくれるんは違うのだ！
>>620
そうか……更に上のモデルでハード的に性能足りんなら
頑張って買えるように働くわ…… >>621
ワイの場合、原作はゲーム一つ、分量もないから
口調だけなぞれば問題ないで
ただ推しはどうも正体がナイアルラトホテプらしいんで（未確認）
神話系の引き出しが欲しいんよね
外部辞書について調べていけばええんやな
方向性わかった、ニキらにありがとうやで 外部辞書ってRAGのことかね
RAGの動作にはRAG専用のモデル(Embedding modelとかいうんやが)が必要で
そのモデルも動作させとく必要があるんでVRAMは圧迫するにはするでな
でもプロンプトを常には圧迫はせんで
ちょっと言葉で説明するには複雑やからググってほしいんやけども
Embedding model自体は大した大きさじゃないことが多いで ninjaにLora学習させまくったら
そのキャラ演じるの滅茶苦茶嫌がられた >>623
大いにありがとうやで
Embedding、画像生成でも出てくるけど言語モデルだとそういう役割なのか
言語モデル本体やのうて、RAG専用のモデルに追加学習させるんかな
そっちのほうがモデル切り替えにも対応できそうでええね
32Bが20Gやから、合わせてギリ24Gに収まってほしいんやが
試してみんことにはわからんね RAGはベクトルDBから文脈に近いトークンを引っ張ってきてプロンプトに混ぜるんやろ
ChatGPTとかゴツいLLMなら小型の辞書やセリフ集を丸ごとプロンプトで食わせられるで
要はどこまで本気を出すかや >>626は>>624宛やでスマンな……
実装できるようになったら大学の図書館に通って
充実させていきたいで Llama 3.3 Swallow気になるけどやっぱ70Bはデカすぎてキツいわ。この辺サクサク動かせるようになりてぇなぁ…… >>627
ベクトル関連で思い出したけども
最初から関係性があるデータ食わせたほうが、AIの理解はいいんやろか？
辞書で使うんでない、本体のモデルの話になると思うけども
神話体系の本をぶっこむより、単語の関連性を
データベース化してからのほうがええんやろかと
国際日本文化研究センターに怪異・妖怪伝承データベースてのがあるんやが
かなり纏まっとるんよね
https://www.nichibun.ac.jp/YoukaiDB/
まあDB作ったとしてもそれをモデルに学習させる方法はまだ知らんのやが…… >>630
チャットが最終目的ならセリフの形で食わせろとGeminiはんが言うとったで
検索システムを擬人化したいならハルシネーション対策の意味でもRAGが現実的やな >>631
ありがとうやで、そうなんか……
どっちの機能も欲しいけど、キャラ分けるのもありかもしれんね
検索システム擬人化の場合は宗像教授にするわ >>608
完全にHPC向けじゃないか
AIは関係ない RAG用のモデルはsentence transformer使う日本語用の奴がかなり軽いぞ 最近入門してみて使ってるとVRAM16GBじゃ全然足らんなあ……(´・ω・｀)
16GB向けの日本語LLMでおすすめのモデルとかあるんかな？
WSL2でvLLM動かすとかも考えたけど無駄な努力でおわるやろか 一人で使う分にはvLLMに利点ない
GGUF対応がなんか中途半端だしむしろデメリットのが多い CPU/iGPU生成をしてるが小学校低学年の全員で読む朗読くらいの速度になってる
ふつーのグラボ使ってる人はなんかもうめちゃくちゃ速いとかあるんだろうか flash attnとかkvキャッシュとかのオプションちゃんと使ってる？
ゲーム用の8GBで遊んでるけど24BのQ4ギリ許容範囲の速度で動くし
16GBあれば32Bでそれなりの速度で動きそうだけど まあ動くには動くけど32Bだと快適とは言えんなあって
パラメータも全然把握できてないしもう少し調べてみるわ
サンガツね >>634
サンガツやでGenspark君に「sentence transformerを使うRAG用モデル 日本語用モデル」でこういう結果やった
RAG（Retrieval-Augmented Generation）の構築において、Sentence Transformersを用いる場合
日本語に特化したモデルを選ぶことが重要です。
Sentence Transformersは、主にBERTやSBERT（Sentence-BERT）などのアーキテクチャに基づいており
文の埋め込みを効率的に生成する能力があります。
これにより、クエリに対して関連するドキュメントを検索し、生成タスクをサポートします。
https://files.catbox.moe/tluhyh.png
まんずJapanese-BERT を調べて
ここにデータぶっこんでRAG用モデルを作るって感じでええんかな >>639
GPUオフロード高くしすぎて共有GPUメモリに溢れてるパターンもあるかも
VRAMに収まる量だけにして残りはCPUにした方が全然早いよ
タスクマネージャーとかで見れば分かると思う >>640
ragは文章をベクトル化して類似度を検索するシステムだからモデルトレーニングとかはしなくていいよ >>640
最近出たstatic-embedding-japaneseってモデルが軽くてかなり早い
普通に使う分には精度も十分だと思う
Embeddingモデルはちょうど言ってくれてる人がいるけど文章解析用のモデルだから個別の学習はいらない
簡単にやりたいならRAG機能があるUIで渡せば普通に解釈して喋ると思うけどね
LMStudioとかOpenWebUIはデフォでRAGあるよ >>642
そうなんか、トンチンカンな造語にならんですむ、ていう感じやろかね
てことは学習させたい知識はQwQ-32B 直になるんかな
工程は長そうやがちまちまやってみるで
genspark君のマインドマップは独学にほんまありがたい
https://files.catbox.moe/fxthzn.png ■ このスレッドは過去ログ倉庫に格納されています
