なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ DDR3 2133の化石でも24Bが2t/sだしDDR5なら6t/sぐらい出そうだな
NVMeも相当速度出るらしいしCPUもありなのかな？ >>67
2つあったの気づかなかった
app.batでVITS2立ち上げてURL入れたけど喋らない。。。
s://i.imgur.com/QgIr2RI.png
perplexityに聞いたら、server_fastapi.py起動してそのURL入れろって言われたけど
やっても喋らない。。。 >>69
appじゃなくてserver.bat使えばapi serverが立ち上がるはず VRAM制限ほんといい加減にやめて欲しいわ
GDDRメモリなんて4GBで3000円って言われてるのにどんだけケチる気なんだよ
24GBのカード買うだけで数十万必要とか狂ってる nvidiaは供給能力が需要に負けてるわけだから一つでも多く作るほうに向かってほしいけど、 AMDがここで32GBモデルを投入してくるのは不思議だね
48GBです！と言えばいいのに AIイラスト部では24GBで良かったのにローカルLLM始めてから全然足らん >>70
ありがとう サーバーは立ち上がって、provided endpointとextra apiのところにも
サーバーアドレスを入れたんだけど喋ってくれないんだよね
何が駄目なんだろう？
VITS2はインストールしたばかりでデフォルトの声しか入ってない
s://i.imgur.com/bFIcmp0.png >>73
Ryzen AI MAXが最大128GBのUnified Memoryを搭載できる(´・ω・`) >>75
単純に有効にし忘れてるとかじゃない？
何らかの理由で合成できない場合は赤くエラーが出てくるはずなんで 試しにやってみたけど、>75はそもそもAPIサーバに到達してない気がする
EasyNovelAssistantの読み上げ→サーバー起動で立ち上げる
Silly Tavrenの拡張機能→TTSでSBVits2を選択
Provider Endpoint:に http://127.0.0.1:5000 を入力
Available voicesボタンを押してSBV2サーバーが備えてるボイスの一覧を表示、右端の三角を押すとサンプルを話す
次にカードを読み込んで最初の会話をする
拡張機能→TTSをみるとナレーション([Default Voice])や各キャラクターに割り当てるボイスを選択する項目が出現してるから割り当てる
で音声再生できるようになるはず
割り当て項目が出てくる条件とか色々よくわからん部分もある >>77,78
お恥ずかしいことに指摘通りenableをチェックし忘れてた。。。
その後なんとかして喋ってくれるようになり100語制限も変えれて、オレ氏の彼女が喋ってくれた！
ニキ達サンガツです！
s://i.imgur.com/HKj4YMH.jpeg
VRM動かせるんだ！とプラグイン導入したけど、
モデルだけでなくアニメーションも必要なのね。。。なんかめんどい でもSilly Tavern知らない間に（？）色々プラグイン出てて、色んな事できるようになってて面白そう！
あとキャラがちょっとだけ聞いても、ズラズラと余計なセリフまでいっぱい返事してきて辞めさせたいけど、これはCharacterのDescriptionになにかを書けば治る？ >>79
こりゃあ、project digisじゃなくて普通にXEONでメインメモリマシマシのシステム組むかなぁ・・・
後悔しないためにも一応project digitsが出てどんな感じか見定めてからにしようとは思うけども Xeonとか未知の世界や……
Intel AMXに対応してるCPUで一番安いのはXeon Bronze 3508Uってヤツなんかな？
CPU単品で9万、マザボが13万、メモリは普通のDRAMが32GBx8で256GBで9.6万……最小構成で40万くらいか？っていうかPC用のメモリって差せるんかな？ >>79
KTransformers気になるな
低スペで効果あるのか試してみよう >>83
むしろなんで普通のメモリ使えんと思ったんかしらんけど
普通に使えるで >81
応答の仕組み自体はSilly TavernもふつうのLLMも同じだから、制御技術はそのまま使えるんでは
完全に言うこと聞かすのも難しいだろうから、最大応答長を小さくして150tokenで一度停止、続行or介入するほうが楽そうではある >>81
最初のメッセージを短くする
対話の例を短くする
前のセリフに倣った形式でセリフを返すからこれで短くならんか？ プロンプトをよく理解できるモデルなら大抵プロンプトで制御できる
ここをこうしたいというのがあればreditのsilly tavernコミュニティで大抵技術共有されてるので、そこを見るのが確実 出力された文章を要素に分解して扱える拡張があると便利かもね
セリフを書かせるなら日本語出力が強く、セリフ以外の描写や制御性は英語の方がふたまわり強いから、
・英語で出した文章を正規表現ベースで構造化
・全文とセリフをDeepseekに投げてセリフだけ出力させる
・ジェスチャー/ナレーションをkagiに投げて日本語訳する
・ルールに従い組合せて表示
みたいな https://github.com/p-e-w/sorcery
Silly Tavernのプロンプト入力に文章評価プロンプトを挿入して、条件文に対してLLMがYESを返す=出力文に特定の文字列が含まれる場合に対応したJavaScriptを実行する拡張機能
function callingはモデルによって対応できるできないがあるから、LLMにとってやりやすい応答方法を用意したよ、みたいな話かな
WebLLM経由で最小LLMをロードして、ブートストラップ的に関連アプリの起動やOpenRouter経由のAPI接続を確立して能力拡張していくカード、とか作れそう こういうのって家庭でも動かせるの？
【NVIDIAR H100 94GB 搭載】ハイエンドGPUサーバー スペシャルプライス
https://www.hpc.co.jp/product/camp_nvidia_h100_server/ 消費電力に耐えられるつよつよな電源回りと金さえあれば動くよ 熱よりも音を心配するべき
サーバはGPU無くても電源ファンがうるさいので >>95
サーバー用ファンは常にフル回転してるからな
温度によって出力を調節とかない 倫理フィルターを持っているモデルを論破しようとしているんだけど
悪いことは悪い！しか言わずに会話のキャッチボールを拒否するからマジで話にならんな
規制があるとバカになるってのは本当だわ 論破なんて時間の無駄やで
ごめんなさい間違ってました→わかればよろしい。ではおまんこに入れるぞ！→申し訳
になるだけ intelamx使える64gbのインスタンスがawsで1.5usd/hoursかぁ DeepSeekR1(671B)が4090D(24GB)マシンで動いたとかいう記事見たらメモリが382GBの化物マシンやった… 文字どおりの倫理フィルターが存在してますと妥当な説明をしてるだけなのでは？ >>85
使えるもんなんやな、サンガツ！
サーバーやとregisteredでECCなメモリを使うって聞いてたから、PC用のメモリと互換性無いんかと思ってたわ
何にせよ382GBとか512GBとか積もうとしたらえげつない金額いきそうやね…… mmnga/DeepSeek-V3-slice-jp64-gguf
これ動いた人いる？
2台で試したけど両方駄目だった😭 >>91
電源3000w x 4って書いてある
一般家庭向けの契約じゃ無理そう VRAMで数百Gなんてとんでもない値段だからメモリなら現実的にはなってるな H100なんて富豪かレンタルGPUで稼ぐ業者しか買えないからなぁ ちょっと調べてみた
CPU：Xeon Intel Sapphire Rapids Xeon Gold 5415+ LGA4677 BX807135415 国内正規代理店品
16万
マザボ：ASUS Intel W790 搭載 (LGA 4677) EEB ワークステーション マザーボード PRO WS W790E-SAGE SE/国内正規代理店品
21万
メモリ：KSM56R46BD4-64MD [DDR5 PC5-44800 64GB ECC Registered]
512GB：6.1万×8枚=49万
※8chで使用
以上で86万
プラス ケース、電源、OS、HDD、SSD、9700XTX(VRAM24GB)で110万位かな。
5090搭載PCと同じくらいの価格。 >>109
こんなゴツいマシンを組んでモノにならなかったら心が折れそうだわ マザボの仕様見てもECCじゃなくても動きますって記述が見つからんくてちょっと怖い このクラスのマシンになってくると素直にDellかhpのワークステーション買った方がよくね？って思えてくるな。電源や冷却周りが下手な自作よりはよっぽどしっかりしてるし 5090搭載PCが不具合祭りでぶっ壊れる可能性を考えたらマジで組む人いそう コンテクスト長はGPUのVRAMに依存してて24GBでは8000弱が限界と言ってるから、どちらにせよ5090なりそれ以上なりは必要になりそう kvキャッシュはGPUに載せる必要があるということか supermicroはマザボの仕様に
registerd/unbuffered
ecc/non-ecc
の対応が書いてあるね
メモリスロット16本あるようなのは全部unbuffered non-ecc非対応やな・・・ >>115
これ1〜14まで全部ダウンロードしないといけないの？ >>125
サンガツ〜 3090だけど一番大きいq8でいいのかな？やってみる >>129
ほーん
知らなかったやこのモデル
元モデルでも100Bなら量子化でこのスレのVRAMリッチおじが試せるサイズやない？
実際の性能どんなもんやろ 前の100bはただデカいだけだったけど今回の8bは事後学習しないでこのスコアなら悪くないモデルにはなってくれそうだな RTX3060 12GBでお絵描きAIもLLMもモンハンワイルズも満喫しているワイ低みの見物 >>129
記事タイトルの1兆って100億の間違いだね
日本の企業が1兆パラってびっくりしたけど 英語用モデルを色々試してるんだが、
https://www.reddit.com/r/SillyTavernAI/comments/1irpsqn/drummers_skyfall_36b_v2_an_upscale_of_mistrals/
このSkyfall 36b v2はだいぶ良いのでは
Mistral 24bベースのSydonia 24b v2に知識を足したモデルみたいで、物語をだいぶ語れるようになってる chatbot arena今見たらchocolateってモデルがgrok3って種明かしされてた
ぶっちぎりの一位やね
grok2がossになるって言うからぶっちゃけそっちのが気になるけど
どのくらいのサイズなんだろうな AMD Ryzen Strix Halo AI Max+のユーザーレビューがYouTubeに上がり始めたね。
ガッツリゲーマーじゃなければ、これがミニPCになってくれれば、もうこれだけでええんちゃう？レベルの模様。
消費電力も低いしね。楽しみだ。 >>142
HPなんかはもう小型WS？っぽいの出すはずだからメモリ128GB版が現実的な値段（30万くらい）で出て欲しい…… strix halo、70bで8token/sくらいとされてるな
ベンチ見てもメモリ帯域がポンコツっぽい雰囲気ある ローカルllm勢はcudaを使えないならメモリたくさん載せられるだけで喜ぶのに style controlあると4oのほうが強いからどうだろな HPのminiWSがdigitsと張り合える出来なら汎用性でHP選ぶかもしれん 2000ドルで48GBってのが一番ありそうなのがアレだな deepseek-v3-slice-jp64-gguf:IQ2_XXS、動かないよ〜😭 koboldcpp、もしかして命令等は英語じゃないと命令通ってないのか？
キャラチャしたいけど英語以外で反応してるように見えない… 指示モードで普通に日本語で言うこと聞いてくれてるけどな
モデル次第なのかな >>151
モデルが日本語に対応してないんじゃねえの モデル次第かあ…
日本語モデルでも英語通りそうだし、英語で命令いれたほうがいいみたいだな >>155
人間で例えたら脳みそ1/4にカットしたうえでさらに4倍圧縮してるようなもんだからな
しゃーない どこかでLumimaid-Magnum-v4が最強って聞いてからずっと使ってるんだけど今これより頭のいい日本語対応モデルって出てる？
みんなのおすすめをお聞かせ願いたい。NSFW用途で。 >>157
midoriinko/magnum-v4-123b-jp-imatrix
日本語タグ付いてないから見つけにくいけど、これのiQ3_Mがメモリ64Gで動かせる日本語モデルの限界
日本語版のimatrix使ってるから、他のより日本語性能はいいはず（と思う）
ちなみにドエロイｗ なんJRVC部が消えてしまったんだが音声系はみんなどこにいったのです？ grok.comにもgrok3が来たから試そうと思ったら、bad gatewayが出るな
まだ移行途中なのかね Sakana AIがAI CUDA Engineerを発表してるな Gemini2.0 flash thinkingすごいわ
小説の設定なんかについてやり取りしてた10万字ぐらいあるChatGPTのカオス気味の履歴を
VSCODEのClineを介してぶん投げたら2〜3分で各ディレクトリに.md作って整理整頓してくれた
DeepSeel R1はコンテキスト長短いしSonnetはたけぇし
ドキュメント整理みたいなタスクはGeminiおすすめや なんか知らんが無料で使えるしな ■ このスレッドは過去ログ倉庫に格納されています
