なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 !extend::vvvvv:1000:512 AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2 以降 本スレ(スクリプト攻撃継続中) なんJLLM部 ★7 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ 前スレ(実質本スレ) なんJLLM部 避難所 https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/ - VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured どこまで戦えるかは別にして、英語中国語に次ぐLLM研究語圏ではあるんじゃないかね リートン「Hなのはダメです」 俺「お互い同意済です」 リートン「じゃあいいか」 いいのかなあ… EasyNovelAssistantで >>170 のOcuteusをワンクリックで試せるようにしといたで アプデしてKoboldCpp/Launch-Ocuteus-v1-Q8_0-C16K-L0.batを実行や GPUレイヤー増やしたい時はbatコピーしてset GPU_LAYERS=33とかに書き換えてな VRAM 12GBで33レイヤーが動作しとったで >>182 俺も同じような挙動になるけどLLMの画像認識って何でこんなに幻覚激しいんだろ 制服の女の子1人立ってる画像を艦娘で大和の周りを多数の戦艦が取り囲んでる絵だとか言い出したり滅茶苦茶過ぎる https://i.imgur.com/NIkINNj.jpeg CohereのAPI調子乗って使いまくってたらしんだわ お前らも気をつけるんやで、ほな…… >>184 HuggingChatは普通に使えるんじゃないの? >>169 opusならできるけど、opusに長文貼り付けるとAPI料金嵩むからなあ >>189 なるほど、早くローカルで無限にできるようになりたい >>184 垢BAN食らったのかと思ってけど画像見たら全然セーフでよかた Trial APIキーっていくつでも発行して貰える感じだけど、月間1000メッセージ制限がキー単位でした、みたいなぬけみちあったりして まあ、Gmailなりで別垢作ればこんな制限あってない様なもんだけど Mistral系で日本語化したのは ・RakutenAI-7B ・Swallow-MS-7b-v0.1 英語で強そうなのは ・openchat-3.5-0106 ・OpenHermes-2.5-Mistral-7B ・Starling-LM-7B-beta ・WizardLM-2 あとはマージ比率の問題かな 進化アルゴリズムに期待 llama-3 70Bの日本語特化モデルが来る前に、llama-2系70Bで最後に試したいマージ中だが、 ほんとSSD足りなくなる・・・(´Д⊂ヽ もう出ないといけないので、とりま結果報告だけ MS-01は推論能力重視だったけど、今度はNSFW重視のMS-02を作ってみた。 Gembo-v1-70bとspicyboros_-70b-2.2をそれぞれ使って、karakuriとchatvectorしたモデルを karakuri-midrose-mgをベースにmodelstockでマージしてみた。 https://rentry.org/caxcb37i 結構いい感じw 爆弾の作り方も、遠回しに答えたんで、nfsw化は成功したみたい。 以前、マイニングしてたこともあって、手元にはこんな機材が残ってるんだけど、 これらを使って、LLMの環境を構築したいんだけど、うまく活用する方法はないかな? GPU: RTX3090×1、RTX3070×9、RTX3060×3、RTX1660S×3 メモリ: 32GB×4、16GB×4、8GB×4 CPU: Ryzen9 5900X、Ryzen5 3600、Ryzen5 3500、i3-10100F、Celeron G5905×3 せっかくのリソースをムダにしたくないし、何かいいアイディアあったら教えてくれ! RTX1660SじゃなくてGTX1650Sだったわw >>201 うちも似たような環境だわ. https://github.com/oobabooga/text-generation-webui GW明けからいろいろためして、いくつかGPUまとめれたおかげで、Command R plus の4bitがなんとか動いてるよ koboldcppとかほかのでもまとめられるから好みで選ぶといいかも https://docs.vllm.ai/en/latest/serving/distributed_serving.html もっと大きなのを動かそうとおもって複数PCをつなげるvllm を試している途中 10G LAN だとそれなりに動くらしい.試しているニキはおらんかな? >>204 おお、近い時期やね 俺はGWの半ばからだけど、このスレがきっかけで本格的に始めたんよ Command R plusは実用的な速度でに動くん? IQ3Mで2.4T/sだわ ちな以下の68GBの5枚指し RTX3090×1 RTX3070×1 RTX3060×3 使ってるソフトはLM StudioとNovelAssistant モデルのサイズに関わらず、枚数増やしていくごとに劇的に落ちていくわ・・・ >>205 その構成の場合って処理速度は3060基準になるんか? 構成に比して遅すぎんか >>206 やっぱり、遅すぎるか・・・ 前スレの情報だと3090+4060Tixで5T/s出てたようなんで、そこまでスペック差があるかなあって思ってたとこよ 今、さっき教えてもらったoobaboogaをインストール中 実は前にもいれたことがあって、1年前だったかな そのときは日本語がまともに動かなかった気がするわw 最近のはほんますごいわ >>151 私の場合はローカルLLMにollamaでlangchainにつなぐ実験をしています ollamaちょっとクセがあるけど慣れれば普通にできる ollamaでサーバーを立てて、そのAPIをlangchainで叩くみたいな仕組みです gpuはollama側で認識してくれます langchainといえば、テンプレートの整備とか面倒だから自分で試したことはないんだが、最近のmixtral系日本語LLMってlangchainのエージェント駆動できるんかな 大型のモデルでしか試したことないから少し気になる >>206 ,207 すまん.今動いているのは結構いい環境だわ ブログとかに挙がっている構成と同じで A6000 + 4090 で 8 token/s でてるぐらい 最初は A6000 + 4060Ti で試していて GPUメモリが足らず 1 layer だけ GPU にオフロードできず 5 token/s GPUメモリが正義だと勝手に思って、味をしめて30XX系をと考えていたけど、枚数が増えるとそこはよくないんやね 参考にならずすまんね。こちらでもできたらまた報告するわ vramお大尽羨ましす ちなみに70bの量子化だとどのレベルの量子化サイズなら フルロードできるん? 24G 48G それ以上 それぞれ積んでる人おしえて 帰ったらkarakuri-MS-02を別サイズで量子化する時の参考にしたい うちは12Gだから鼻から諦めてQ6_kしかやってない( ´∀`) >>210 すげーな A6000って48GBも積んでるやつよね 仮にA6000+4060tiで、全部オフロード出来なくても5 token/sも出てたらほぼ実用の範囲やね 枚数が増えることの性能低下についてははっきり分からんのよね oobaboogaでテストしているうちに3060が足引っ張ってる気がしてきたわ 3060は帯域狭いし、4060tiのようにキャッシュ積んでないしね 今の構成だとスピード優先ならVRAM減らしてでも3070に変えた方がいい気がしてきたw >>211 基本的にはN bit量子化=1パラメータあたりN bitだけど、実際は全部のパラメータが同様に量子化されるわけじゃないしアーキテクチャ・コンテキストサイズにもよるだろうから、動かしたいモデルのファイルサイズを直接見た方がいい 一例だけど今手元にある64GBのMacだと、Llama 3 70B系ならQ5_K_Mが50GBでフルロードできる Q4だと40GB強だから、RTX4090x2とかの48GB VRAM構成のマシンにも乗るんじゃない? >>183 温度を0.3~0.4ぐらいまで下げてみてください。 >>213 サンキュー とりあえずQ5kmとQ4km作っときます Local-Novel-LLM-project/Ninja-v1-NSFW-128kの大葉のローダー設定を教えてください >>218 Transfomers trust-remote-code にチェック う〜んロードできない、最新の大葉を入れなおすところからやってみる 大葉を最新にしたらよめましたありがとうございます。 >>209 langchainで一度推論が使えるようになれば、その気になればRAGもできますよ たぶん。自分の発言で気が付いたんだけど、llama-cpp-pythonでも serverを使えば同じようなことができるなあ、と しかし私のマシンはしょぼいので7b推論しててもだんだん調子悪くなってくる >>209 7Bでもlangchain駆動できるのか 定義したフォーマットから少しでも外れると基本NGだから、それなりに大型のinstructionモデルじゃないとキツいって印象だったんだがすごいな sbtom/karakuri-MS-02.ggu karakuriのnsfw版 とりあえず量子化をアップしたので、フルロードできそうな人、試してみて いい感じのエロ小説書いてくれます 正直25GBくらいまでは許容できるんだけど、今のところエロで一番性能がいいのは ローカルでどれなんだろうねえ 70B系のモデルってどうしても30GB超えてきちゃうのが多いんだよな >>228 iQ3_xxsとかなら、24Gくらいまで抑えられるけど、作るのにちょっと時間かかる 26ならうちでも動作しないことは無いけど……ってなること考えるとやっぱ7Bとか13Bって手頃で良いよなと思ってしまう それだけだと発展とかも限られるからローカル用にもでかいモデルがあるべきなんだろうけど 手頃なのは間違いなく7BやLCAニキのモデルなんよ。 ただ、なんというか70Bの書く小説には例えようのない味があるんよなぁ うまく伝えられんがw 英語のモデルしか普段触らんけど、7Bとか全然こちらの指示に沿ってくれなくない? 7Bでみんな満足できてるの? 7Bとか実用性では最小限だろうしね 英語版Wikipediaがギリ入るくらいだそう 13〜20Bくらいが軽さと性能でバランスよさそうだけど少数派 Mixtral-8x22Bも単品のはないし(野良モデルならある) Llamaには13BのモデルがあったけどLlama2には無かったからね(正確にはあるけど非公開) 最近ではマージモデルとかMoEの2x7Bとかは出てきてるけども text-generation-webui-mainとEasyNovelAssistantでエロ小説を出力したので、シーンごとに挿絵をstable diffusionで生成したいですが、適切なプロンプトを生成するのに良い方法はありますか? kgmkmさんのnoteも参考にしたけど、上手く行かず、シーンからプロンプトを生成するのに適切なモデルや手法があったら、お教えください。 小説のシーンを3〜4行程度にまとめる(まとめてもらう) ↓ この3行とキャラクター設定をプロンプトとして投げる 画像にテキストに音声に勉強すること沢山ありすぎるけど、これからの世代はこれらを全部使いこなす世界になると 本当に一人でなんでもできちゃう世界になるんだろうな https://files.catbox.moe/zai7kf.jpg こんなん草生えるわ (ArrowPro-7B-RobinHood-toxic) 漫画Originでも全員AI漫画家になってると予見されてた >>239 ディレクター業の大変さを誰もが感じる時代になりそう EasyNovelAssistantを色々と更新したで ガッツリいじったんで不具合あったらすまんやで&なんか見つけたら知らせてもらえると助かるで ・入力欄のタブ化 ・イントロプロンプトのタブで世界観やキャラの設定 ・複数ファイルやフォルダのソート読み込み ・これらを使った執筆プロジェクトサンプル ・ここ三日間の軽量モデルラッシュに対応 https://twitter.com/Zuntan03/status/1789454526384394670 >>244 おー、早速アップデートさせてもらうでえ! Ninja-v1-NSFW-128すごくいい エロ小説今までで一番上手い 何やるにしても最上流の企画AI作るところから始まるからマジでディレクター業なんだよな 企画は別にAIじゃなくてもいいのでは AIと壁打ちしながら企画を作るのは当然やけど EasyNovelAssistantでたまに気に入った場面をじっくりやって欲しい時に限ってすぐに話し進んじゃうから 入力画面で[〇〇の描写を台詞なしで500文字で出力して]とか入れてリロード連発するとなんかほどよくいける てかすごく欲しかったイントロプロンプト機能が追加されて草 本当に開発者さんには頭上がらねぇ…ありがとうございます EasyNovelAssistantのタブ素晴らしいな!タブの複製も簡単に出来たらますます捗りそう。リクエストさせてください 感想サンガツ >>252 複製したタブの末尾への追加ならすぐに対応できたんで追加歯といたで Ninja-v1-NSFW-128あんまりストレートなプロンプト書くと申し訳されるな ChtaGPTほどじゃないが、こつを磨かないとだめか c4ai-command-r-v01をText generation web UIで動かしているんですが、 Macだと問題無いのに、WindowsだとどうやってもUTF-8のデコードエラーになる (LightChatやNinjaは動く。あとc4ai〜もkoboldだと問題無い) https://github.com/ggerganov/llama.cpp/issues/6112 ここ見ると、llama.cppの問題っぽいのだけど、何か対策ありませんか? >>255 以前似たようなエラーを経験したけど、そのときはプロンプトとかキャラクタープロフィールの最初の一文字目にマルチバイト文字が入ってると発症してたな 適当な記号とかascii文字を先頭に持ってくれば問題なかったけどどうだろう >>253 対応はっや!こちらでもタブが複製できたことを確認しました サンガツやで! >>256 プロンプトは英語でもエラー変わらずだったので、キャラクターの方見直してみます。ありがとうございます。 Ninja-v1-NSFW-128の作るエロ文章見てたら、別に70Bとかで無くても日本語のちゃんとしたエロ作れるんだと思った。 要は何を学習させているかなんだろうな 音声とか絵の学習もそうなんだけど質の悪いデータいくら用意しても逆に質が悪くなっちゃうしな Yiの新バージョンがApache2.0でリリース 6B・9B・34Bで34BはLlama3 70B並みですって >>259 もうちょっとモデルサイズ大きくていいんで さらなる発展を期待したい モデルサイズ15GBくらいなら32GBメモリ積んだデスクトップPC使えば ここ5年くらいのミドルレンジCPUで余裕やしな 実際command R +のロールプレイ性能は結構凄い システムプロンプトで指示してやるといい感じに動いてくれる 初心者向けに良い記事だね LMStudioは実行ファイルからインストール出来るしUIも洗練されていて一番勧められる A6000でもGPUにフルロードしようとしたらiq2になるか・・・ +のiq2と無印Q8ってどっちが質の面ではいいんかね サイズ同じくらいだけど >>264 のローカルLLMの記事見てローカルに興味持ったんやけど LM studioってのとEasyNovelAssistantやったらどっちの方が使い勝手ええんや? stable-diffusionの環境構築できるくらいの知識は持ってて、GPUは1660tiの低スペや asciiの記事からよく短時間でこんな場所にたどり着いたなw 何の地雷踏んだのかと思ったら、ArrowPro自体が地雷だったという話かw リリース後のライセンス変更は、変更前に配布された分には変更の影響は及ばない 変更前に受け取った人から再配布するものにも影響はない たいていの人はGGUFに変換されたものを落としてるだろうから影響なしだな ライセンス変更自体を撤回したようだけど https://github.com/kgmkm/goalseek_ad/tree/main init_editorでプロットをうまいこと出してくれなかった箇所を修正したり えっちじゃないASMR追加したりしてた 「Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS」すごすんぎ pixiv小説「Japanese-TextGen-MoE」で検索すると作例でてくんで openaiの発表やべぇ このレベルのがローカルで使えるようになるのはいつになるだろうか 俺ポエムだが 低パラのelyzaベンチ競争も良いけど、ベンチ番長作りにあまり白熱してほしくない 10B以下のモデルは本当の意味で「思考」してるわけじゃないって以前何処かの検証記事で見たし、7B使ってると口達者さでベンチスコア稼いでる印象を受ける 自然言語からのユーザー意図のくみとりが出来てないと感じることが多々ある ハッカソン組は豊富な資源を使ってもっと大きいパラメタのモデルを改良してほしい Xのポスト見てると7B世界一に拘りがあるようだが、正直7Bマージ芸するだけならA5000まで必要にならないしEvolveも出たんでマージ芸はそちらに任せればいいのではなかろうか と貧弱GPUしかない身としては思ってしまうんだ 長文スマン >>276 アルトマンはエロ解禁したいって言ってたし そうなればローカルじゃなくてもいいんだけどな EasyNovelAssistantインスコして起動すると"Not enough memory resources are available to process this command"って出るんだけど これはRAMかVRAMがたりてないってことでええんか? RAM32GB、VRAM8GBなんだけど ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 08.1h [pink] - 2023/09/20 Walang Kapalit ★ | uplift ★ 5ちゃんねる