なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>182
俺も同じような挙動になるけどLLMの画像認識って何でこんなに幻覚激しいんだろ
制服の女の子1人立ってる画像を艦娘で大和の周りを多数の戦艦が取り囲んでる絵だとか言い出したり滅茶苦茶過ぎる https://i.imgur.com/NIkINNj.jpeg
CohereのAPI調子乗って使いまくってたらしんだわ
お前らも気をつけるんやで、ほな…… >>184
HuggingChatは普通に使えるんじゃないの？ >>169
opusならできるけど、opusに長文貼り付けるとAPI料金嵩むからなあ >>189
なるほど、早くローカルで無限にできるようになりたい >>184
垢BAN食らったのかと思ってけど画像見たら全然セーフでよかた
Trial APIキーっていくつでも発行して貰える感じだけど、月間1000メッセージ制限がキー単位でした、みたいなぬけみちあったりして
まあ、Gmailなりで別垢作ればこんな制限あってない様なもんだけど Mistral系で日本語化したのは
・RakutenAI-7B
・Swallow-MS-7b-v0.1
英語で強そうなのは
・openchat-3.5-0106
・OpenHermes-2.5-Mistral-7B
・Starling-LM-7B-beta
・WizardLM-2
あとはマージ比率の問題かな 進化アルゴリズムに期待 llama-3 70Bの日本語特化モデルが来る前に、llama-2系70Bで最後に試したいマージ中だが、
ほんとSSD足りなくなる・・・(´Д⊂ヽ もう出ないといけないので、とりま結果報告だけ
MS-01は推論能力重視だったけど、今度はNSFW重視のMS-02を作ってみた。
Gembo-v1-70bとspicyboros_-70b-2.2をそれぞれ使って、karakuriとchatvectorしたモデルを
karakuri-midrose-mgをベースにmodelstockでマージしてみた。
https://rentry.org/caxcb37i
結構いい感じｗ
爆弾の作り方も、遠回しに答えたんで、nfsw化は成功したみたい。 以前、マイニングしてたこともあって、手元にはこんな機材が残ってるんだけど、 これらを使って、LLMの環境を構築したいんだけど、うまく活用する方法はないかな？
GPU: RTX3090×1、RTX3070×9、RTX3060×3、RTX1660S×3
メモリ: 32GB×4、16GB×4、8GB×4
CPU: Ryzen9 5900X、Ryzen5 3600、Ryzen5 3500、i3-10100F、Celeron G5905×3
せっかくのリソースをムダにしたくないし、何かいいアイディアあったら教えてくれ！ RTX1660SじゃなくてGTX1650Sだったわw >>201
うちも似たような環境だわ．
https://github.com/oobabooga/text-generation-webui
GW明けからいろいろためして、いくつかGPUまとめれたおかげで、Command R plus の4bitがなんとか動いてるよ
koboldcppとかほかのでもまとめられるから好みで選ぶといいかも
https://docs.vllm.ai/en/latest/serving/distributed_serving.html
もっと大きなのを動かそうとおもって複数PCをつなげるvllm を試している途中
10G LAN だとそれなりに動くらしい．試しているニキはおらんかな？ >>204
おお、近い時期やね
俺はGWの半ばからだけど、このスレがきっかけで本格的に始めたんよ
Command R plusは実用的な速度でに動くん？
IQ3Mで2.4T/sだわ
ちな以下の68GBの5枚指し
RTX3090×1
RTX3070×1
RTX3060×3
使ってるソフトはLM StudioとNovelAssistant
モデルのサイズに関わらず、枚数増やしていくごとに劇的に落ちていくわ・・・ >>205
その構成の場合って処理速度は3060基準になるんか？
構成に比して遅すぎんか >>206
やっぱり、遅すぎるか・・・
前スレの情報だと3090+4060Tixで5T/s出てたようなんで、そこまでスペック差があるかなあって思ってたとこよ
今、さっき教えてもらったoobaboogaをインストール中
実は前にもいれたことがあって、1年前だったかな
そのときは日本語がまともに動かなかった気がするわw
最近のはほんますごいわ >>151
私の場合はローカルLLMにollamaでlangchainにつなぐ実験をしています
ollamaちょっとクセがあるけど慣れれば普通にできる
ollamaでサーバーを立てて、そのAPIをlangchainで叩くみたいな仕組みです
gpuはollama側で認識してくれます langchainといえば、テンプレートの整備とか面倒だから自分で試したことはないんだが、最近のmixtral系日本語LLMってlangchainのエージェント駆動できるんかな
大型のモデルでしか試したことないから少し気になる >>206,207
すまん．今動いているのは結構いい環境だわ
ブログとかに挙がっている構成と同じで A6000 + 4090 で 8 token/s でてるぐらい
最初は A6000 + 4060Ti で試していて GPUメモリが足らず 1 layer だけ GPU にオフロードできず 5 token/s
GPUメモリが正義だと勝手に思って、味をしめて30XX系をと考えていたけど、枚数が増えるとそこはよくないんやね
参考にならずすまんね。こちらでもできたらまた報告するわ vramお大尽羨ましす
ちなみに70bの量子化だとどのレベルの量子化サイズなら
フルロードできるん？
24G
48G
それ以上
それぞれ積んでる人おしえて
帰ったらkarakuri-MS-02を別サイズで量子化する時の参考にしたい
うちは12Gだから鼻から諦めてQ6_kしかやってない( ´∀｀) >>210
すげーな
A6000って48GBも積んでるやつよね
仮にA6000+4060tiで、全部オフロード出来なくても5 token/sも出てたらほぼ実用の範囲やね
枚数が増えることの性能低下についてははっきり分からんのよね
oobaboogaでテストしているうちに3060が足引っ張ってる気がしてきたわ
3060は帯域狭いし、4060tiのようにキャッシュ積んでないしね
今の構成だとスピード優先ならVRAM減らしてでも3070に変えた方がいい気がしてきたw >>211
基本的にはN bit量子化=1パラメータあたりN bitだけど、実際は全部のパラメータが同様に量子化されるわけじゃないしアーキテクチャ・コンテキストサイズにもよるだろうから、動かしたいモデルのファイルサイズを直接見た方がいい
一例だけど今手元にある64GBのMacだと、Llama 3 70B系ならQ5_K_Mが50GBでフルロードできる
Q4だと40GB強だから、RTX4090x2とかの48GB VRAM構成のマシンにも乗るんじゃない？ >>183
温度を0.3~0.4ぐらいまで下げてみてください。 >>213
サンキュー
とりあえずQ5kmとQ4km作っときます Local-Novel-LLM-project/Ninja-v1-NSFW-128kの大葉のローダー設定を教えてください >>218
Transfomers
trust-remote-code にチェック う〜んロードできない、最新の大葉を入れなおすところからやってみる 大葉を最新にしたらよめましたありがとうございます。 >>209
langchainで一度推論が使えるようになれば、その気になればRAGもできますよ
たぶん。自分の発言で気が付いたんだけど、llama-cpp-pythonでも
serverを使えば同じようなことができるなあ、と
しかし私のマシンはしょぼいので7b推論しててもだんだん調子悪くなってくる >>209
7Bでもlangchain駆動できるのか
定義したフォーマットから少しでも外れると基本NGだから、それなりに大型のinstructionモデルじゃないとキツいって印象だったんだがすごいな sbtom/karakuri-MS-02.ggu
karakuriのnsfw版
とりあえず量子化をアップしたので、フルロードできそうな人、試してみて
いい感じのエロ小説書いてくれます 正直25GBくらいまでは許容できるんだけど、今のところエロで一番性能がいいのは
ローカルでどれなんだろうねえ
70B系のモデルってどうしても30GB超えてきちゃうのが多いんだよな >>228
iQ3_xxsとかなら、24Gくらいまで抑えられるけど、作るのにちょっと時間かかる 26ならうちでも動作しないことは無いけど……ってなること考えるとやっぱ7Bとか13Bって手頃で良いよなと思ってしまう
それだけだと発展とかも限られるからローカル用にもでかいモデルがあるべきなんだろうけど 手頃なのは間違いなく７BやLCAニキのモデルなんよ。
ただ、なんというか70Bの書く小説には例えようのない味があるんよなぁ
うまく伝えられんがｗ 英語のモデルしか普段触らんけど、7Bとか全然こちらの指示に沿ってくれなくない？
7Bでみんな満足できてるの？ 7Bとか実用性では最小限だろうしね
英語版Wikipediaがギリ入るくらいだそう
13〜20Bくらいが軽さと性能でバランスよさそうだけど少数派
Mixtral-8x22Bも単品のはないし（野良モデルならある） Llamaには13BのモデルがあったけどLlama2には無かったからね(正確にはあるけど非公開)
最近ではマージモデルとかMoEの2x7Bとかは出てきてるけども text-generation-webui-mainとEasyNovelAssistantでエロ小説を出力したので、シーンごとに挿絵をstable diffusionで生成したいですが、適切なプロンプトを生成するのに良い方法はありますか？
kgmkmさんのnoteも参考にしたけど、上手く行かず、シーンからプロンプトを生成するのに適切なモデルや手法があったら、お教えください。 小説のシーンを３〜４行程度にまとめる（まとめてもらう）
↓
この３行とキャラクター設定をプロンプトとして投げる 画像にテキストに音声に勉強すること沢山ありすぎるけど、これからの世代はこれらを全部使いこなす世界になると
本当に一人でなんでもできちゃう世界になるんだろうな https://files.catbox.moe/zai7kf.jpg
こんなん草生えるわ (ArrowPro-7B-RobinHood-toxic) 漫画Originでも全員AI漫画家になってると予見されてた >>239
ディレクター業の大変さを誰もが感じる時代になりそう EasyNovelAssistantを色々と更新したで
ガッツリいじったんで不具合あったらすまんやで＆なんか見つけたら知らせてもらえると助かるで
・入力欄のタブ化
・イントロプロンプトのタブで世界観やキャラの設定
・複数ファイルやフォルダのソート読み込み
・これらを使った執筆プロジェクトサンプル
・ここ三日間の軽量モデルラッシュに対応
https://twitter.com/Zuntan03/status/1789454526384394670 >>244
おー、早速アップデートさせてもらうでえ！ Ninja-v1-NSFW-128すごくいい
エロ小説今までで一番上手い 何やるにしても最上流の企画AI作るところから始まるからマジでディレクター業なんだよな 企画は別にAIじゃなくてもいいのでは
AIと壁打ちしながら企画を作るのは当然やけど EasyNovelAssistantでたまに気に入った場面をじっくりやって欲しい時に限ってすぐに話し進んじゃうから
入力画面で[〇〇の描写を台詞なしで500文字で出力して]とか入れてリロード連発するとなんかほどよくいける
てかすごく欲しかったイントロプロンプト機能が追加されて草
本当に開発者さんには頭上がらねぇ…ありがとうございます EasyNovelAssistantのタブ素晴らしいな！タブの複製も簡単に出来たらますます捗りそう。リクエストさせてください 感想サンガツ
>>252
複製したタブの末尾への追加ならすぐに対応できたんで追加歯といたで Ninja-v1-NSFW-128あんまりストレートなプロンプト書くと申し訳されるな
ChtaGPTほどじゃないが、こつを磨かないとだめか c4ai-command-r-v01をText generation web UIで動かしているんですが、
Macだと問題無いのに、WindowsだとどうやってもUTF-8のデコードエラーになる
（LightChatやNinjaは動く。あとc4ai〜もkoboldだと問題無い）
https://github.com/ggerganov/llama.cpp/issues/6112
ここ見ると、llama.cppの問題っぽいのだけど、何か対策ありませんか？ >>255
以前似たようなエラーを経験したけど、そのときはプロンプトとかキャラクタープロフィールの最初の一文字目にマルチバイト文字が入ってると発症してたな
適当な記号とかascii文字を先頭に持ってくれば問題なかったけどどうだろう >>253
対応はっや！こちらでもタブが複製できたことを確認しました
サンガツやで！ >>256
プロンプトは英語でもエラー変わらずだったので、キャラクターの方見直してみます。ありがとうございます。 Ninja-v1-NSFW-128の作るエロ文章見てたら、別に70Bとかで無くても日本語のちゃんとしたエロ作れるんだと思った。
要は何を学習させているかなんだろうな 音声とか絵の学習もそうなんだけど質の悪いデータいくら用意しても逆に質が悪くなっちゃうしな Yiの新バージョンがApache2.0でリリース
6B・9B・34Bで34BはLlama3 70B並みですって >>259
もうちょっとモデルサイズ大きくていいんで
さらなる発展を期待したい
モデルサイズ15GBくらいなら32GBメモリ積んだデスクトップPC使えば
ここ5年くらいのミドルレンジCPUで余裕やしな 実際command R ＋のロールプレイ性能は結構凄い
システムプロンプトで指示してやるといい感じに動いてくれる 初心者向けに良い記事だね
LMStudioは実行ファイルからインストール出来るしUIも洗練されていて一番勧められる A6000でもGPUにフルロードしようとしたらiq2になるか・・・ +のiq2と無印Q8ってどっちが質の面ではいいんかね
サイズ同じくらいだけど >>264 のローカルLLMの記事見てローカルに興味持ったんやけど
LM studioってのとEasyNovelAssistantやったらどっちの方が使い勝手ええんや？
stable-diffusionの環境構築できるくらいの知識は持ってて、GPUは1660tiの低スペや asciiの記事からよく短時間でこんな場所にたどり着いたなｗ 何の地雷踏んだのかと思ったら、ArrowPro自体が地雷だったという話かｗ
リリース後のライセンス変更は、変更前に配布された分には変更の影響は及ばない
変更前に受け取った人から再配布するものにも影響はない
たいていの人はGGUFに変換されたものを落としてるだろうから影響なしだな
ライセンス変更自体を撤回したようだけど https://github.com/kgmkm/goalseek_ad/tree/main
init_editorでプロットをうまいこと出してくれなかった箇所を修正したり
えっちじゃないASMR追加したりしてた
「Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS」すごすんぎ
pixiv小説「Japanese-TextGen-MoE」で検索すると作例でてくんで openaiの発表やべぇ
このレベルのがローカルで使えるようになるのはいつになるだろうか 俺ポエムだが
低パラのelyzaベンチ競争も良いけど、ベンチ番長作りにあまり白熱してほしくない
10B以下のモデルは本当の意味で「思考」してるわけじゃないって以前何処かの検証記事で見たし、7B使ってると口達者さでベンチスコア稼いでる印象を受ける
自然言語からのユーザー意図のくみとりが出来てないと感じることが多々ある
ハッカソン組は豊富な資源を使ってもっと大きいパラメタのモデルを改良してほしい
Xのポスト見てると7B世界一に拘りがあるようだが、正直7Bマージ芸するだけならA5000まで必要にならないしEvolveも出たんでマージ芸はそちらに任せればいいのではなかろうか
と貧弱GPUしかない身としては思ってしまうんだ
長文スマン >>276
アルトマンはエロ解禁したいって言ってたし
そうなればローカルじゃなくてもいいんだけどな EasyNovelAssistantインスコして起動すると"Not enough memory resources are available to process this command"って出るんだけど
これはRAMかVRAMがたりてないってことでええんか？
RAM32GB、VRAM8GBなんだけど Ninja-v1-NSFW-128いろいろ試してるけど、倫理フィルターで申し訳されるのに、自分はエロしか書けないみたいな矛盾したこと言うのがおかしい EasyNovelAssistant使って各モデルが意味の取りにくい文を解釈してくれるかの試し
https://rentry.org/df9f4te5
テストとしては問題の数も試行回数も足りないけど傾向くらいは見える感じになった ■ このスレッドは過去ログ倉庫に格納されています
