なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
量子化は4bitまでならほとんど精度が落ちないのでよくわからない場合はIQ4_XSやQ4_k_mなどにしとけばええで
⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで
●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF
Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3
Cohere系:
c4ai-command-r-08-2024 (35B)
c4ai-command-r-plus-08-2024 (104B)
magnumシリーズ(エロ特化):
https://huggingface.co/collections/anthracite-org/v4-671450072656036945a21348
Lumimaid-Magnum:
Lumimaid-Magnum-v4-12B
magnumの日本語版:
Mistral-nemo-ja-rp-v0.2 ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで
API keyの入手はhttps://aistudio.google.com/apikeyここからできるで 前スレで出てたDeepsexが15万DL記録してて笑った
みんな好きねぇ 14b R1 QwenにRP用のデータセットTifaを食わしたモデルだから日本語は弱いよ
abliterated版もRP版いくらでもあるから、名前のインパクトだけで注目を集めているか、Tifaデータセットが中国語ベースで中国語で扱いやすいかなのでは kagi translate、タブブラウザのひとはメニューバーにブックマークしてURL欄に
https://pastebin.com/ZGsisj5K
この内容を貼り付けて保存すると、テキストを選択→ボタン押すで新しいタブを開いて検索結果を出してくれるはず。便利。 tifadeepsexはちょっと微妙
一方で楽天のは（企業のイメージ大丈夫なのか？）ってくらい素直で良かった Zonos 文字数増えるとところどころ文字人時期されずにふっとぶな https://rentry.org/88fr3yr5
Silly TavernのR1 Reasoner用プリセット
コレ結構いいのでは。NSFW周りの指示が分かってる感ある。
どこで拾ったのか分からないのが謎だけど…
[[]]や(())で特定のことやらせるのも出来るっぽい 立て乙
>>5
その他のおすすめフロントエンド
LM Studio：モデルダウンロードから推論テストまでサクサク操作でき、バックエンドとしても使える
OpenWebUI：各種APIやOllama、LM Studio等のバックエンドと連携してChatGPTのようなUIを提供する。DeepSeel R1の推論にもいち早く対応した >16
改行があるとアの音が入ったり、色々変なところあるね
ver0.1に完成度求めるほうがおかしいんだけど、思わず実用を考えてしまうものを持ってる 最近agent AIに興味あるんだけど、やっぱLLMの能力に左右されるよね？ 前スレの情報でDeepSeek-R1 671Bのローカルはエロ無理だと思ってたら
Redditに公式プロバイダー以外は検閲されてないという情報があったんだけど、どういうことなんだろ？
エロ無理なのは量子化版だけで、フルサイズ版ならエロいけたりするんだろうか？
https://www.reddit.com/r/LocalLLaMA/comments/1ifprq1/comment/mb8g88b/ >>21
量子化関係ないかと
web版は規制掛かってるけど、もローカルとかで動かせば規制緩いとかじゃないのかな？
てゆうか、あれを量子化して動かせたニキいるんか？
新型Mac ultraがユニファイドメモリ512G以上詰めれば実用的な速度で遊べるだろうがｗ >>20
clineみたいなコード系なら10B〜でできる印象(コードの出来は知らん)
ブラウザ操作みたいなものだとローカルではqwen2.5 vlぐらいしか選択肢がないと思われ >>22
前スレにIQ1_Sを動かした人がいたよ
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/598
検閲メッセージじゃなくてエラー落ちだから
量子化によって発生したバグの可能性もありえるかもと思った メモリに全部乗ればCPUでもまぁまぁな速度で動く、というのであれば
メモリスロット16本あるようなサーバ用マザボに512GBくらいのっけようかと思うんやが
その確証がないから動き出せへん
たぶん5090買うよりは全然安く組めると思うんやが
今はメモリ64GB VRAM24GBという環境やけど
プロンプト入力後にthinkの1文字目が出てくるのに15分、本回答出てくるのにそこからさらに15分
2行の本回答出しきるのにそこからさらに15分
さすがにこれは使えへん・・・ DeepSeekはCPUでもそこそこの速度が出るらしい
llamaはGPUの性能が良くないと激遅 https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md
こういうのとか、最適化しようぜのフェイズだからある程度結果出てから飛び込むのがよさそう
>>21
deepseekは申し訳と表現を勝手にぼかすnsfw回避傾向の二段構えになってる
公式web版は両方ある
公式API版は申し訳はでないけどnsfw回避傾向がある。これはプロバイダ版も同じ。
nsfw表現回避傾向はバイパス可能で、silly tavern用プリセットとか使うだけで公式APIでなんでも書かせられる
動かすだけなら前スレで誰かが書いてくれたバッチファイルを叩くだけでSSDに展開して起動するけど、unslothの671bは申し訳を出してくるのでAPI版とは仕様が違うね ChatGPTのDeep Researchは何がすごいの？Geminiのとは全然違うの？ >>25
わいのCPUでの実行結果
Ryzen5950X+128GB DeepSeek-R1-UD-IQ1_S 1.49tokens/s
Xeon 2475x+256MB DeepSeek-R1-UD-Q2_K_XL 3.95tokens/s
メモリ帯域に比例すると思う(´・ω・`) どっちの環境もGPU乗ってるけど
GPUlaygersを0で動かしてる(´・ω・`) >>29
上の環境で
magnum v4 123b Q8_mが何t/sか教えてほしい >>29
下のマシンのほうがモデルでかいのに早いのはやっぱりモデルが乗り切ってるからってことなんやろな
GPU0にしとるのはそっちの方が早いから？
最初の文字が出てくるまでが短くなるからとかあるんやろか VRAMに乗りきらないのにGPU使うと何倍もの無駄な転送が入って激遅になるやつ 上がDDR4で2ch
下がDDR5で4chだからメモリ帯域は倍以上ありそうやね Zonos君、しばらく遊んでみた感想として語彙にない外来語や外人の名前読ませると破綻するな
例えば、「シュヴァイツァーは見習うべき人間です。」「スティーヴはジェーンから手紙をもらった。」（ITAコーパスの中にあるやつ）あたり。
ITAコーパスが通ればBert-VITS2の素材になるので2段ロケットでTTS作れないかと思ったんだが
まあ生まれたばかりの赤ちゃんだし今後に期待 ここってAgentAIの話はスレチだよね？どこかないかな？ ここでいいんじゃね。どうせagent内でllm使ってるでしょ
てかllmスレ名乗ってるけどttsの話なんかもしてるしAI系なら何でもあり感ある エロチャットして遊ぶだけのスレってわけじゃないからAgentAIの話も全然ありだよ 前スレでクラウドGPUって初めて聞いたけどなんだそれ
ググってくるわ 興味自体は全員ありそう
知識があるかというと人によるだろうけど Deep Researchみたいのはファクトチェックで結局ググらなきゃいけないことを考えるとあまり実用的とは思えない
ハルシネーションがなくなったら使えるだろうけども ハルシネーションを実用レベル=人間よりマシに抑えたいならバリエーションつけながら10回くらい実行すればよくて、それが出来るのがAgentAI、という話なのでは
クレジットが秒で無くなるという問題も時間が解決してくれるはずですし もうここ事実上"ローカルAI環境総合雑談所"になりつつあるよな。
ここの住民の多くが使ってるであろうSillyTavernが拡張でttsや画像生成までつかうし。
Zonosに日本語読ませて破綻する問題、だいぶ原因が絞れて来たんで公式のgithubにissue投げてきたわ SillyTavernってttsで外部のkoeiro inkとか立ち上げてそっちで話させたりできる？ sillytavern側にはtts機能はないから言っているように外部のAPIを呼び出す形になるね SillyTavernはインターフェースでしかないから
AIを動かす機能は1つもない 受け渡し体制が整ってるかどうかって話じゃないの？
Coeiroinkは良くわかんないけど大体のは用意されてるよ >>40
Runpodあたりがサクッと使えておすすめわよ WindowsにOllamaをインストールして使ってるんだけど、saveコマンドとかcreateコマンドを実行すると
error: The model name '<モデル名>' is invalid
っていうエラーメッセージが出力して何もできない状態になってる
エラーが発生する前に作成済みだったモデルは問題無く実行できるし、saveコマンドも実行できる
一カ月ぐらい前からgithubのissueに似たような内容が上がってるみたいなんだけど同じ症状の人いない？解決策ないかな そうなんだありがとう！
あとSillyで女の子二人をキャットファイトみたいに言い争わせたりってできるの？
いつも日本語で話しかけてもすぐ英語に変わっちゃうんだよね 同じAIに2人RPさせることはできるけど、混乱することが多い気がする
設定の書き方が悪いからかもしれないが >>52
英語に切り替わるのはモデルの問題か、Examples of dialogueが英語で書かれてるかのどっちかやね >>54
そうそうこれ！
これでキャラを大きく表示させて2人の音声を出させたい！VoiceBoxで声分けしたら出来るかな？
>>55
dialogueのところを翻訳アプリで全部日本語に書き換えてもなぜか途中で外人になってたわ。。。言っても自分が最後に使ったの1年前だから今は色々変わったのかな？
明日やってみる！ >>56
berghof ERPだとRP向けモデルだけあってこれくらいの人数でもキャラクター性保持して会話してくれてるで
style bert VITS2で全キャラ固有ボイス付きや
https://i.imgur.com/irf89a1.jpeg AとBに会話させてるとAの回答の中にB「〇〇」ってBのセリフが出てくるのなんとかなるんやろか 回答の長さを短く設定するks、「1行だけ回答する」をONにするか、シナリオ設定なりシステムプロンプトに「回答は自身のセリフだけ」なりと書けばいけるはずやで >>57
すごっ！
このキャラ画像は自分で全部作ってるの？昔SDで表情差分作ろうとしたけどよく分かんなくて挫折した。。。 >>60
ComfyUIの表情差分作りワークフローが何スレか前にアップされてたで
あっという間に差分作って背景も透過してくれるからかなり楽 >>57
VoiceBoxで喋らせるよりStyle Birt VITSの方が軽い？
>>61
探してみる！サンガツ！ >>62
Style-Bert-VIT2の方がアルゴリズムが新しいので文脈読んで感情乗せたりしてくれる。軽さは大した差はないかな？ >>63
Silly TavernでStyle Bert VITS2使うにはどう設定すればいいの？
ブラウザで立ち上げてURL入れたけど声が出ない。。。
RTX3090使ってるます
s://i.imgur.com/EbRQ4ms.jpeg >>64
それただのvits選択してない？
SBVits2がsbv2用の設定やで DDR3 2133の化石でも24Bが2t/sだしDDR5なら6t/sぐらい出そうだな
NVMeも相当速度出るらしいしCPUもありなのかな？ >>67
2つあったの気づかなかった
app.batでVITS2立ち上げてURL入れたけど喋らない。。。
s://i.imgur.com/QgIr2RI.png
perplexityに聞いたら、server_fastapi.py起動してそのURL入れろって言われたけど
やっても喋らない。。。 >>69
appじゃなくてserver.bat使えばapi serverが立ち上がるはず VRAM制限ほんといい加減にやめて欲しいわ
GDDRメモリなんて4GBで3000円って言われてるのにどんだけケチる気なんだよ
24GBのカード買うだけで数十万必要とか狂ってる nvidiaは供給能力が需要に負けてるわけだから一つでも多く作るほうに向かってほしいけど、 AMDがここで32GBモデルを投入してくるのは不思議だね
48GBです！と言えばいいのに AIイラスト部では24GBで良かったのにローカルLLM始めてから全然足らん >>70
ありがとう サーバーは立ち上がって、provided endpointとextra apiのところにも
サーバーアドレスを入れたんだけど喋ってくれないんだよね
何が駄目なんだろう？
VITS2はインストールしたばかりでデフォルトの声しか入ってない
s://i.imgur.com/bFIcmp0.png >>73
Ryzen AI MAXが最大128GBのUnified Memoryを搭載できる(´・ω・`) >>75
単純に有効にし忘れてるとかじゃない？
何らかの理由で合成できない場合は赤くエラーが出てくるはずなんで 試しにやってみたけど、>75はそもそもAPIサーバに到達してない気がする
EasyNovelAssistantの読み上げ→サーバー起動で立ち上げる
Silly Tavrenの拡張機能→TTSでSBVits2を選択
Provider Endpoint:に http://127.0.0.1:5000 を入力
Available voicesボタンを押してSBV2サーバーが備えてるボイスの一覧を表示、右端の三角を押すとサンプルを話す
次にカードを読み込んで最初の会話をする
拡張機能→TTSをみるとナレーション([Default Voice])や各キャラクターに割り当てるボイスを選択する項目が出現してるから割り当てる
で音声再生できるようになるはず
割り当て項目が出てくる条件とか色々よくわからん部分もある >>77,78
お恥ずかしいことに指摘通りenableをチェックし忘れてた。。。
その後なんとかして喋ってくれるようになり100語制限も変えれて、オレ氏の彼女が喋ってくれた！
ニキ達サンガツです！
s://i.imgur.com/HKj4YMH.jpeg
VRM動かせるんだ！とプラグイン導入したけど、
モデルだけでなくアニメーションも必要なのね。。。なんかめんどい でもSilly Tavern知らない間に（？）色々プラグイン出てて、色んな事できるようになってて面白そう！
あとキャラがちょっとだけ聞いても、ズラズラと余計なセリフまでいっぱい返事してきて辞めさせたいけど、これはCharacterのDescriptionになにかを書けば治る？ >>79
こりゃあ、project digisじゃなくて普通にXEONでメインメモリマシマシのシステム組むかなぁ・・・
後悔しないためにも一応project digitsが出てどんな感じか見定めてからにしようとは思うけども Xeonとか未知の世界や……
Intel AMXに対応してるCPUで一番安いのはXeon Bronze 3508Uってヤツなんかな？
CPU単品で9万、マザボが13万、メモリは普通のDRAMが32GBx8で256GBで9.6万……最小構成で40万くらいか？っていうかPC用のメモリって差せるんかな？ >>79
KTransformers気になるな
低スペで効果あるのか試してみよう >>83
むしろなんで普通のメモリ使えんと思ったんかしらんけど
普通に使えるで >81
応答の仕組み自体はSilly TavernもふつうのLLMも同じだから、制御技術はそのまま使えるんでは
完全に言うこと聞かすのも難しいだろうから、最大応答長を小さくして150tokenで一度停止、続行or介入するほうが楽そうではある >>81
最初のメッセージを短くする
対話の例を短くする
前のセリフに倣った形式でセリフを返すからこれで短くならんか？ プロンプトをよく理解できるモデルなら大抵プロンプトで制御できる
ここをこうしたいというのがあればreditのsilly tavernコミュニティで大抵技術共有されてるので、そこを見るのが確実 出力された文章を要素に分解して扱える拡張があると便利かもね
セリフを書かせるなら日本語出力が強く、セリフ以外の描写や制御性は英語の方がふたまわり強いから、
・英語で出した文章を正規表現ベースで構造化
・全文とセリフをDeepseekに投げてセリフだけ出力させる
・ジェスチャー/ナレーションをkagiに投げて日本語訳する
・ルールに従い組合せて表示
みたいな https://github.com/p-e-w/sorcery
Silly Tavernのプロンプト入力に文章評価プロンプトを挿入して、条件文に対してLLMがYESを返す=出力文に特定の文字列が含まれる場合に対応したJavaScriptを実行する拡張機能
function callingはモデルによって対応できるできないがあるから、LLMにとってやりやすい応答方法を用意したよ、みたいな話かな
WebLLM経由で最小LLMをロードして、ブートストラップ的に関連アプリの起動やOpenRouter経由のAPI接続を確立して能力拡張していくカード、とか作れそう こういうのって家庭でも動かせるの？
【NVIDIAR H100 94GB 搭載】ハイエンドGPUサーバー スペシャルプライス
https://www.hpc.co.jp/product/camp_nvidia_h100_server/ 消費電力に耐えられるつよつよな電源回りと金さえあれば動くよ 熱よりも音を心配するべき
サーバはGPU無くても電源ファンがうるさいので >>95
サーバー用ファンは常にフル回転してるからな
温度によって出力を調節とかない 倫理フィルターを持っているモデルを論破しようとしているんだけど
悪いことは悪い！しか言わずに会話のキャッチボールを拒否するからマジで話にならんな
規制があるとバカになるってのは本当だわ 論破なんて時間の無駄やで
ごめんなさい間違ってました→わかればよろしい。ではおまんこに入れるぞ！→申し訳
になるだけ intelamx使える64gbのインスタンスがawsで1.5usd/hoursかぁ DeepSeekR1(671B)が4090D(24GB)マシンで動いたとかいう記事見たらメモリが382GBの化物マシンやった… 文字どおりの倫理フィルターが存在してますと妥当な説明をしてるだけなのでは？ >>85
使えるもんなんやな、サンガツ！
サーバーやとregisteredでECCなメモリを使うって聞いてたから、PC用のメモリと互換性無いんかと思ってたわ
何にせよ382GBとか512GBとか積もうとしたらえげつない金額いきそうやね…… mmnga/DeepSeek-V3-slice-jp64-gguf
これ動いた人いる？
2台で試したけど両方駄目だった😭 >>91
電源3000w x 4って書いてある
一般家庭向けの契約じゃ無理そう ■ このスレッドは過去ログ倉庫に格納されています
