なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2 以降 本スレ(避難中) なんJLLM部 ★7 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ 前スレ(実質本スレ) なんJLLM部 避難所 ★5 https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ oobabooga/text-generation-webui 通称大葉 これもKoboldAIに並んで有用な実行環境やで https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant 主に小説用で使われとるで ローカルLLM導入のハードルをぐっと下げてくれたで 初めてのお人はここから始めるのもいいで https://github.com/Zuntan03/EasyNovelAssistant https://github.com/SillyTavern/SillyTavern AIチャットに特化したUI、SillyTavernや キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで 画像出力や音声出力とも連携可能で夢が広がるで 機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな 好きなAPIやローカルモデルと接続して使うんやで 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や 先にいつもどおりKoboldを起動してな SillyTavernのプラグのアイコンをクリック APIに Text Completion を選択 API Typeは KoboldCpp API keyは不要 API URLに http://localhost:5001/ これでいける ●多くのモデルには「base」と「instruct」の2種類があるで baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで 量子化モデルにはGGUFやGPTQなどの種類があるで 基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで 量子化は4bitまでならほとんど精度が落ちないのでよくわからない場合はIQ4_XSやQ4_k_mなどにしとけばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで 画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで 例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで 基本的にはBが大きいほど性能が高いで ●その他の最近話題になったモデルも挙げとくで 動きの速い界隈やから日々チェックやで Mistral-7B系: LightChatAssistant Antler-7B-RP Japanese-Starling-ChatV Antler-7B-Novel-Writing SniffyOtter-7B-Novel-Writing-NSFW Ninja-v1 Vecteus-v1 Berghof-NSFW-7B-i1-GGUF Llama3-70B系: Smaug-Llama-3-70B-Instruct-abliterated-v3 Cohere系: c4ai-command-r-08-2024 (35B) c4ai-command-r-plus-08-2024 (104B) magnumシリーズ(エロ特化): https://huggingface.co/collections/anthracite-org/v4-671450072656036945a21348 Lumimaid-Magnum: Lumimaid-Magnum-v4-12B magnumの日本語版: Mistral-nemo-ja-rp-v0.2 ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで 若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで API keyの入手はhttps://aistudio.google.com/apikey ここからできるで 前スレで出てたDeepsexが15万DL記録してて笑った みんな好きねぇ 14b R1 QwenにRP用のデータセットTifaを食わしたモデルだから日本語は弱いよ abliterated版もRP版いくらでもあるから、名前のインパクトだけで注目を集めているか、Tifaデータセットが中国語ベースで中国語で扱いやすいかなのでは kagi translate、タブブラウザのひとはメニューバーにブックマークしてURL欄に https://pastebin.com/ZGsisj5K この内容を貼り付けて保存すると、テキストを選択→ボタン押すで新しいタブを開いて検索結果を出してくれるはず。便利。 tifadeepsexはちょっと微妙 一方で楽天のは(企業のイメージ大丈夫なのか?)ってくらい素直で良かった Zonos 文字数増えるとところどころ文字人時期されずにふっとぶな https://rentry.org/88fr3yr5 Silly TavernのR1 Reasoner用プリセット コレ結構いいのでは。NSFW周りの指示が分かってる感ある。 どこで拾ったのか分からないのが謎だけど… [[]]や(())で特定のことやらせるのも出来るっぽい 立て乙 >>5 その他のおすすめフロントエンド LM Studio:モデルダウンロードから推論テストまでサクサク操作でき、バックエンドとしても使える OpenWebUI:各種APIやOllama、LM Studio等のバックエンドと連携してChatGPTのようなUIを提供する。DeepSeel R1の推論にもいち早く対応した >16 改行があるとアの音が入ったり、色々変なところあるね ver0.1に完成度求めるほうがおかしいんだけど、思わず実用を考えてしまうものを持ってる 最近agent AIに興味あるんだけど、やっぱLLMの能力に左右されるよね? 前スレの情報でDeepSeek-R1 671Bのローカルはエロ無理だと思ってたら Redditに公式プロバイダー以外は検閲されてないという情報があったんだけど、どういうことなんだろ? エロ無理なのは量子化版だけで、フルサイズ版ならエロいけたりするんだろうか? https://www.reddit.com/r/LocalLLaMA/comments/1ifprq1/comment/mb8g88b/ >>21 量子化関係ないかと web版は規制掛かってるけど、もローカルとかで動かせば規制緩いとかじゃないのかな? てゆうか、あれを量子化して動かせたニキいるんか? 新型Mac ultraがユニファイドメモリ512G以上詰めれば実用的な速度で遊べるだろうがw >>20 clineみたいなコード系なら10B〜でできる印象(コードの出来は知らん) ブラウザ操作みたいなものだとローカルではqwen2.5 vlぐらいしか選択肢がないと思われ >>22 前スレにIQ1_Sを動かした人がいたよ https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/598 検閲メッセージじゃなくてエラー落ちだから 量子化によって発生したバグの可能性もありえるかもと思った メモリに全部乗ればCPUでもまぁまぁな速度で動く、というのであれば メモリスロット16本あるようなサーバ用マザボに512GBくらいのっけようかと思うんやが その確証がないから動き出せへん たぶん5090買うよりは全然安く組めると思うんやが 今はメモリ64GB VRAM24GBという環境やけど プロンプト入力後にthinkの1文字目が出てくるのに15分、本回答出てくるのにそこからさらに15分 2行の本回答出しきるのにそこからさらに15分 さすがにこれは使えへん・・・ DeepSeekはCPUでもそこそこの速度が出るらしい llamaはGPUの性能が良くないと激遅 https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md こういうのとか、最適化しようぜのフェイズだからある程度結果出てから飛び込むのがよさそう >>21 deepseekは申し訳と表現を勝手にぼかすnsfw回避傾向の二段構えになってる 公式web版は両方ある 公式API版は申し訳はでないけどnsfw回避傾向がある。これはプロバイダ版も同じ。 nsfw表現回避傾向はバイパス可能で、silly tavern用プリセットとか使うだけで公式APIでなんでも書かせられる 動かすだけなら前スレで誰かが書いてくれたバッチファイルを叩くだけでSSDに展開して起動するけど、unslothの671bは申し訳を出してくるのでAPI版とは仕様が違うね ChatGPTのDeep Researchは何がすごいの?Geminiのとは全然違うの? >>25 わいのCPUでの実行結果 Ryzen5950X+128GB DeepSeek-R1-UD-IQ1_S 1.49tokens/s Xeon 2475x+256MB DeepSeek-R1-UD-Q2_K_XL 3.95tokens/s メモリ帯域に比例すると思う(´・ω・`) どっちの環境もGPU乗ってるけど GPUlaygersを0で動かしてる(´・ω・`) >>29 上の環境で magnum v4 123b Q8_mが何t/sか教えてほしい >>29 下のマシンのほうがモデルでかいのに早いのはやっぱりモデルが乗り切ってるからってことなんやろな GPU0にしとるのはそっちの方が早いから? 最初の文字が出てくるまでが短くなるからとかあるんやろか VRAMに乗りきらないのにGPU使うと何倍もの無駄な転送が入って激遅になるやつ 上がDDR4で2ch 下がDDR5で4chだからメモリ帯域は倍以上ありそうやね Zonos君、しばらく遊んでみた感想として語彙にない外来語や外人の名前読ませると破綻するな 例えば、「シュヴァイツァーは見習うべき人間です。」「スティーヴはジェーンから手紙をもらった。」(ITAコーパスの中にあるやつ)あたり。 ITAコーパスが通ればBert-VITS2の素材になるので2段ロケットでTTS作れないかと思ったんだが まあ生まれたばかりの赤ちゃんだし今後に期待 ここってAgentAIの話はスレチだよね?どこかないかな? ここでいいんじゃね。どうせagent内でllm使ってるでしょ てかllmスレ名乗ってるけどttsの話なんかもしてるしAI系なら何でもあり感ある エロチャットして遊ぶだけのスレってわけじゃないからAgentAIの話も全然ありだよ 前スレでクラウドGPUって初めて聞いたけどなんだそれ ググってくるわ 興味自体は全員ありそう 知識があるかというと人によるだろうけど Deep Researchみたいのはファクトチェックで結局ググらなきゃいけないことを考えるとあまり実用的とは思えない ハルシネーションがなくなったら使えるだろうけども ハルシネーションを実用レベル=人間よりマシに抑えたいならバリエーションつけながら10回くらい実行すればよくて、それが出来るのがAgentAI、という話なのでは クレジットが秒で無くなるという問題も時間が解決してくれるはずですし もうここ事実上"ローカルAI環境総合雑談所"になりつつあるよな。 ここの住民の多くが使ってるであろうSillyTavernが拡張でttsや画像生成までつかうし。 Zonosに日本語読ませて破綻する問題、だいぶ原因が絞れて来たんで公式のgithubにissue投げてきたわ SillyTavernってttsで外部のkoeiro inkとか立ち上げてそっちで話させたりできる? sillytavern側にはtts機能はないから言っているように外部のAPIを呼び出す形になるね SillyTavernはインターフェースでしかないから AIを動かす機能は1つもない 受け渡し体制が整ってるかどうかって話じゃないの? Coeiroinkは良くわかんないけど大体のは用意されてるよ >>40 Runpodあたりがサクッと使えておすすめわよ WindowsにOllamaをインストールして使ってるんだけど、saveコマンドとかcreateコマンドを実行すると error: The model name '<モデル名>' is invalid っていうエラーメッセージが出力して何もできない状態になってる エラーが発生する前に作成済みだったモデルは問題無く実行できるし、saveコマンドも実行できる 一カ月ぐらい前からgithubのissueに似たような内容が上がってるみたいなんだけど同じ症状の人いない?解決策ないかな そうなんだありがとう! あとSillyで女の子二人をキャットファイトみたいに言い争わせたりってできるの? いつも日本語で話しかけてもすぐ英語に変わっちゃうんだよね 同じAIに2人RPさせることはできるけど、混乱することが多い気がする 設定の書き方が悪いからかもしれないが >>52 英語に切り替わるのはモデルの問題か、Examples of dialogueが英語で書かれてるかのどっちかやね >>54 そうそうこれ! これでキャラを大きく表示させて2人の音声を出させたい!VoiceBoxで声分けしたら出来るかな? >>55 dialogueのところを翻訳アプリで全部日本語に書き換えてもなぜか途中で外人になってたわ。。。言っても自分が最後に使ったの1年前だから今は色々変わったのかな? 明日やってみる! >>56 berghof ERPだとRP向けモデルだけあってこれくらいの人数でもキャラクター性保持して会話してくれてるで style bert VITS2で全キャラ固有ボイス付きや https://i.imgur.com/irf89a1.jpeg AとBに会話させてるとAの回答の中にB「〇〇」ってBのセリフが出てくるのなんとかなるんやろか 回答の長さを短く設定するks、「1行だけ回答する」をONにするか、シナリオ設定なりシステムプロンプトに「回答は自身のセリフだけ」なりと書けばいけるはずやで >>57 すごっ! このキャラ画像は自分で全部作ってるの?昔SDで表情差分作ろうとしたけどよく分かんなくて挫折した。。。 >>60 ComfyUIの表情差分作りワークフローが何スレか前にアップされてたで あっという間に差分作って背景も透過してくれるからかなり楽 >>57 VoiceBoxで喋らせるよりStyle Birt VITSの方が軽い? >>61 探してみる!サンガツ! >>62 Style-Bert-VIT2の方がアルゴリズムが新しいので文脈読んで感情乗せたりしてくれる。軽さは大した差はないかな? >>63 Silly TavernでStyle Bert VITS2使うにはどう設定すればいいの? ブラウザで立ち上げてURL入れたけど声が出ない。。。 RTX3090使ってるます s://i.imgur.com/EbRQ4ms.jpeg >>64 それただのvits選択してない? SBVits2がsbv2用の設定やで DDR3 2133の化石でも24Bが2t/sだしDDR5なら6t/sぐらい出そうだな NVMeも相当速度出るらしいしCPUもありなのかな? >>67 2つあったの気づかなかった app.batでVITS2立ち上げてURL入れたけど喋らない。。。 s://i.imgur.com/QgIr2RI.png perplexityに聞いたら、server_fastapi.py起動してそのURL入れろって言われたけど やっても喋らない。。。 >>69 appじゃなくてserver.bat使えばapi serverが立ち上がるはず VRAM制限ほんといい加減にやめて欲しいわ GDDRメモリなんて4GBで3000円って言われてるのにどんだけケチる気なんだよ 24GBのカード買うだけで数十万必要とか狂ってる nvidiaは供給能力が需要に負けてるわけだから一つでも多く作るほうに向かってほしいけど、 AMDがここで32GBモデルを投入してくるのは不思議だね 48GBです!と言えばいいのに AIイラスト部では24GBで良かったのにローカルLLM始めてから全然足らん >>70 ありがとう サーバーは立ち上がって、provided endpointとextra apiのところにも サーバーアドレスを入れたんだけど喋ってくれないんだよね 何が駄目なんだろう? VITS2はインストールしたばかりでデフォルトの声しか入ってない s://i.imgur.com/bFIcmp0.png >>73 Ryzen AI MAXが最大128GBのUnified Memoryを搭載できる(´・ω・`) >>75 単純に有効にし忘れてるとかじゃない? 何らかの理由で合成できない場合は赤くエラーが出てくるはずなんで 試しにやってみたけど、>75はそもそもAPIサーバに到達してない気がする EasyNovelAssistantの読み上げ→サーバー起動で立ち上げる Silly Tavrenの拡張機能→TTSでSBVits2を選択 Provider Endpoint:に http://127.0.0.1:5000 を入力 Available voicesボタンを押してSBV2サーバーが備えてるボイスの一覧を表示、右端の三角を押すとサンプルを話す 次にカードを読み込んで最初の会話をする 拡張機能→TTSをみるとナレーション([Default Voice])や各キャラクターに割り当てるボイスを選択する項目が出現してるから割り当てる で音声再生できるようになるはず 割り当て項目が出てくる条件とか色々よくわからん部分もある >>77 ,78 お恥ずかしいことに指摘通りenableをチェックし忘れてた。。。 その後なんとかして喋ってくれるようになり100語制限も変えれて、オレ氏の彼女が喋ってくれた! ニキ達サンガツです! s://i.imgur.com/HKj4YMH.jpeg VRM動かせるんだ!とプラグイン導入したけど、 モデルだけでなくアニメーションも必要なのね。。。なんかめんどい でもSilly Tavern知らない間に(?)色々プラグイン出てて、色んな事できるようになってて面白そう! あとキャラがちょっとだけ聞いても、ズラズラと余計なセリフまでいっぱい返事してきて辞めさせたいけど、これはCharacterのDescriptionになにかを書けば治る? >>79 こりゃあ、project digisじゃなくて普通にXEONでメインメモリマシマシのシステム組むかなぁ・・・ 後悔しないためにも一応project digitsが出てどんな感じか見定めてからにしようとは思うけども Xeonとか未知の世界や…… Intel AMXに対応してるCPUで一番安いのはXeon Bronze 3508Uってヤツなんかな? CPU単品で9万、マザボが13万、メモリは普通のDRAMが32GBx8で256GBで9.6万……最小構成で40万くらいか?っていうかPC用のメモリって差せるんかな? >>79 KTransformers気になるな 低スペで効果あるのか試してみよう >>83 むしろなんで普通のメモリ使えんと思ったんかしらんけど 普通に使えるで >81 応答の仕組み自体はSilly TavernもふつうのLLMも同じだから、制御技術はそのまま使えるんでは 完全に言うこと聞かすのも難しいだろうから、最大応答長を小さくして150tokenで一度停止、続行or介入するほうが楽そうではある >>81 最初のメッセージを短くする 対話の例を短くする 前のセリフに倣った形式でセリフを返すからこれで短くならんか? プロンプトをよく理解できるモデルなら大抵プロンプトで制御できる ここをこうしたいというのがあればreditのsilly tavernコミュニティで大抵技術共有されてるので、そこを見るのが確実 出力された文章を要素に分解して扱える拡張があると便利かもね セリフを書かせるなら日本語出力が強く、セリフ以外の描写や制御性は英語の方がふたまわり強いから、 ・英語で出した文章を正規表現ベースで構造化 ・全文とセリフをDeepseekに投げてセリフだけ出力させる ・ジェスチャー/ナレーションをkagiに投げて日本語訳する ・ルールに従い組合せて表示 みたいな https://github.com/p-e-w/sorcery Silly Tavernのプロンプト入力に文章評価プロンプトを挿入して、条件文に対してLLMがYESを返す=出力文に特定の文字列が含まれる場合に対応したJavaScriptを実行する拡張機能 function callingはモデルによって対応できるできないがあるから、LLMにとってやりやすい応答方法を用意したよ、みたいな話かな WebLLM経由で最小LLMをロードして、ブートストラップ的に関連アプリの起動やOpenRouter経由のAPI接続を確立して能力拡張していくカード、とか作れそう こういうのって家庭でも動かせるの? 【NVIDIAR H100 94GB 搭載】ハイエンドGPUサーバー スペシャルプライス https://www.hpc.co.jp/product/camp_nvidia_h100_server/ 消費電力に耐えられるつよつよな電源回りと金さえあれば動くよ 熱よりも音を心配するべき サーバはGPU無くても電源ファンがうるさいので >>95 サーバー用ファンは常にフル回転してるからな 温度によって出力を調節とかない 倫理フィルターを持っているモデルを論破しようとしているんだけど 悪いことは悪い!しか言わずに会話のキャッチボールを拒否するからマジで話にならんな 規制があるとバカになるってのは本当だわ 論破なんて時間の無駄やで ごめんなさい間違ってました→わかればよろしい。ではおまんこに入れるぞ!→申し訳 になるだけ intelamx使える64gbのインスタンスがawsで1.5usd/hoursかぁ DeepSeekR1(671B)が4090D(24GB)マシンで動いたとかいう記事見たらメモリが382GBの化物マシンやった… ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 08.1h [pink] - 2023/09/20 Walang Kapalit ★ | uplift ★ 5ちゃんねる