なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ LM Studioでcyberagentの日本語deepseek R1を使っているのですが
思考プロセス？thinking...って無効にできたりしますか？ >>556
無効っていうのはどういうこと？
表示しないだけならできるけど 空の〈think〉〈/think〉を先に与えて続きから推論させれば飛ばせる事が多い >>555
音声朗読エンジンのところでfast-vitsを選択する >>554
自己解決 Fast Vitsにしたらやっと声出た！
これ自分で作った音声モデルも使えそうね
ダンス機能メチャ気に入ったｗ >>559
最後にここだけ教えて
キャラクター初期設定を日本語訳して突っ込んで、アプリ再起動しても2枚目みたいに英語から始まって、呪文みたいにアルファベット復唱し始めるんだけど、この英語から始まるのをなくすのってどうやればいいの？
s://i.imgur.com/h2c3WSz.png
s://i.imgur.com/HR9FWbC.png そういうキャラの再現度はやっぱりローカルよりオンラインモデルが強いな >562
正式対応プラグインを待つ。
あるいはAPIリクエストの送受信を捕まえて内容を修正する。ChatGPTくんに
API PROXY サーバープログラムを書いて。ユーザーからAPIリクエストを受けたらlocalhost:5001に転送して、APIレスポンスを受けたら正規表現を使って<think>タグに挟まれた部分を削除した内容をユーザーに返して
って言うとだいたい動くものを作ってくれるのでlocalhost:5001の部分を目標のURLにする AItuber kitは最新版はdeepseekに対応してるよ。
deepseekとcohereはエロいの多少平気だから、
エロaituberを作って時々遊んでる >> 566追記
VRMはすっぽんぽんの嫁をVroid studioで作った >>532
たったの5万台で出来ることが分かって暴落してるんや deepseekの推論はファーウェイのAscend 910Cを使ってるって話だけど
それが本当ならdeepseekに関してはもう完全にnvidiaの関与ゼロじゃない？ 4090で動く(140gbあるのでメインメモリも128以上必要) 24GBに収まる超絶量子化かと思ったらなにそれぇ😨 >>565
あっ、言い忘れてたんだけどDeepSeekが落ちてたのでollamaにdeepseek落としてやったんだけど、ollamaだからなのかな？
でももうちょっとdeepseek対応まで様子見してみる！
いいの教えてくれてサンガツ！ 96GBメモリが4万円くらいだから5090と合わせて50万で行ける可能性ある >>529
完全に横からやがサンガツ
32bいじってみたくてもがいとったんや
https://i.imgur.com/qPWG7wh.jpeg
https://i.imgur.com/YPkALeK.jpeg
vram16メインメモリ64でも動いてくれた
えちえちな文章書かせるの楽しみや🥰 いけんじゃーんってダウンロードしたら、メインメモリ100Gちょっとしかなかったんで動かせなかったわ
残念 Gigabyte MZ73-LM0(EPYC 2スロのMB)、EPYC 9115 x2, DDR5 768GBのCPU推論構成でフルR1動かして6-8token/s出るらしい。
100万円コースみたいだけど。 >>580
メモリさえあればCPUでその速度出せるのか
GPU買うよりコスパいいな EPYC 9115でその速度出せるのか
Threadripperの上のグレードならもっと速そうだな ollamaで試したけどさすがに時間かかるねこれは
テスト こんにちは と言っただけでとんでもない長文を吐きながら長考してくれている 残念なことに長考した内容に引っ張られて『テストメッセージへの適切な対応例：』のリストを出してきて
求めていた挨拶『こんにちは』を返してくれなかった ほんまCPU推論で速度出るようなってほしいわ
調子に乗るなよ革ジャン😡 EPYC 9115って最大メモリ帯域480GB/sか
まあまあええやん >>568
5万台でたったのって言われたらソフトバンクの立つ瀬がなくない？
4000台とかでキャッキャとプレス出してるのに メモリーバンドだけ太くてもね
CPUコアだけでみたら32個で、x86のベクトル演算器って何個あるんだっけ?
40TOPSくらい出るか?
40TOPSならノートPC(ARM)のNEのほうが速そう >>564
キャラ設定が公式と違う脳内同人仕様なのでこれでいいのです >>589
AVX2かAVX512が使える
何基積んでるかはCPUによる webで使えるdeepseekは普通に賢い
ただエロには使えない
攻撃されてるからかapi発行ページが開けない
ローカル用に小さくしたモデルは……微妙 2スロットだとインターリンクが足をひっぱるぞ
1チャンネルあたりせいぜい64GB/sくらいじゃなかったか?
PCIe5よりはずっとマシでネットワークサーバーとしては十分だけどAI用とするには厳しすぎる 中国のモバゲーのAIが1億人のプレイヤーと日々騙しだまされの駆け引きで訓練してめっちゃ進化してる
そのうちゲームとかVR方面でも今回みたいなショックが起こるのは間違いないと思う 速度を完全に無視してしまえばR1 fp16 1.5TB
をNVMeに展開して動かすのも可能、って話もあるな >>571
試してみたけど、日本語は確かに堪能なんだが一回の返答までに5分とかかかるのが厳しいわ
なにより18禁展開にしたらエラー吐いちゃうからエロ的には実用性に乏しい
容量140GB近いのもキツいけど、もう少し取り回しよくてエロに使えればいいんだけどなぁ deepseek 32b いろいろ試したけど
karakuri32bの方が日本語力もエロも格段に上だわ >598
レポたすかる
浪漫はあるけどいざ動いてしまうと現実と直面しだすって感じかな
えろは遠くない時期にAbliterated版が出てくる可能性があるよね
EpycでQ8、m2 mac 192GBで4bit、4090/5090で1.58bitを動かそうってひとが現れてて、全員に渇望されてるわけだし エロでエラーとは？
ニーハオじゃなくてエラーなの？ >599
karakuri-lm-32b-thinking-2501-expかな?
褒める人も見るけど、自分はそもそもえろ描写をうまく出せなかったな
karakuriはQwQ-32B-Previewの派生で、QwQ32bのAbliterated版は使ってるけど文章力はそんなに変わってないように見える
QwQはQwen2.5からの派生、R1 QwenもQwen2.5からの派生で従兄弟どうしですし DeepSeekR1-IQ1_S 130GBがRAM 64GB+3060 12GBで動くらしかったので試してみたら0.6t/sやったわ
実用性は無いんやが76/130GBでも動作するんが驚きやったわ
一応bat置いとくで
https://gist.github.com/Zuntan03/e7e76ccc36e773a9ef983383402879e8/raw/DeepSeekR1-IQ1_S.bat >>601
ollamaで動かしてるから不適切なリクエストとして
「Error: an error was encountered while running the model: wsarecv: An existing connection was forcibly closed by the remote host.」になって強制終了される >>565
Digital Mateで気づいたけど、あの変な英語羅列はollamaのDeepseek 8B,32Bだと出る。qwen2.5-coder32bだと最初の英語は出ない
これAPI弱いのが玉に瑕だね、、、せめてgemini API使えたらなぁ SillyTavernで日本語版R1のgguf使うときってモデルをロードするバックエンド側は何を使ってる？
text-generation-webui使ってロードしてみたら失敗してしまう・・・（他のモデルはロードできているしアップデートしたりdevブランチ取ってきて試したりしてもダメだった） >605
1.58bit{ -1 , 0 , 1 }にするのは全体うち一定量で、重要なところは精度を残す必要があるらしい
今回のやつとbitnet実装は残し方が逆向きになってるとかなんとか
>606
<think>タグはR1かR1を蒸留したモデルの特徴ということでは >>588
実際はH800（H100より下位）2048台だからね >>604
なるほど…
APIだとほぼ無規制なのにローカルだとそっちの規制に引っかかるのね…
どうにかならんのかな >603
ホントにうごくじゃん
Ansiで保存してbatにして管理者として実行するだけだわ
WD black SN850で3秒に1トークンくらいだけど えろを聞くとエラーにはならんけど申し訳されるな
超長大思考にもならないしllama直とollama環境の違いなのかね 5070ti買って使えるモデル増やそうかと思ったけど
この世代は性能がうんちすぎてスルーすべきだと警告音が聴こえてくるで…… 5080も性能あまり変わらない割に値上がりしてコスパ悪いって話
流石に5090は積んでるVRAM的にも買う理由はあるだろうけど Sakanaが新手法の「TAID」で作った軽量モデル
https://huggingface.co/SakanaAI/TinySwallow-1.5B-Instruct-GGUF
どうせエッチなことは言ってくれないんだろ
と思ったら普通にエッチなこと言ってくれるわ
ときどき申し訳されるけどガードはかなり緩い
俺にはいまいち上手い使い方が分からんから誰か試してみてくれ 5090以外は発売日が一番高いわけでどの場合でも即座に買う必要性はないのでは
必要性がないのは分かっている、分かっているが...という人向け
5090は実売価格が下がる可能性がゼロで入手性も怪しいから買うならクソ寒い今日の23時に並んで抽選に勝利する必要あるね 24GBが32GBに増えてもLLM的には焼け石に水だよね🥺
もうDigitsかMac数珠つなぎに行くしかなさそうなイメージ🥺 LLM的には5090買う金あったら中古の3090増やせばおｋみたいな感じになっとるな >>618
貧乏だから中古TITAN RTX×2台行くかずっと迷ってるよ🥺 AI用途なら1~2ヶ月は様子見が安定や
そもそもtorchも発売日時点じゃ動かないともっぱらの噂だし4000シリーズの時も発売直後はcudaの最適化不足でフル性能出てなかったし無理する必要はないわな
アリバイモデルを抽選で狙うのはありだとおもうけど 一枚じゃなくて中古でもいいから8枚載せたらいいのでは？🤔 mac数珠繋ぎってそんなに実用的なのか？Thunderboltで繋いでるならそこがボトルネックになると思うんだけど気にならないレベル？ どうせ買えないからdigitsの情報が出るまで両天秤で待機や DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S動かせた人います？ >>603
これ使わせてもらったけどSATAのSSDから実行したせいか3090なのに0.15token/sとか悲惨な数字になった。 CPU推論だからGPUは何積んでても変わらないな。というか無くても良い。 llama.cppは新UIより旧UIのほうが応答が速くていいな
DeepSeekのキンペー批判出力もそこまで難しくないね
でも長文の整形は苦手っぽい。think部分が余計なんだな DeepSeekさんの中の人も色んな性癖に付き合うの大変やろうな。
https://imgur.com/a/lakbQgp Project DIGITSが出る頃は画像認識とかもだいぶ発展してるだろうし
全く臆することなくAIにチン見せできる日がそろそろ来るのか digitsは3000ドル「から」なのが果てしなく不穏だ 5090は1999ドルなのに、日本では45万程度からだろ
67万とかか？ >>635
業務用系はぼったくりさらに激しいから100万から〜になるかも 個人輸入だと米サイトでの熾烈な争奪戦に勝つ必要あるからだいぶしんどい
日本向けに一定数を確保して保証まわりも三年やりますなら多めに払う価値もある
理屈では納得してもお財布のほうはそうでないわけだが qwenにすら負けるNECや東工大やNTTや情報学研だからな😅 >>632
thinkと生成された文章の熱量、テンションの差が面白いな deepseekのローダーは何かchatGPTに聞いてもはぐらかされるｗ 文系全開の文章で偉そうに聞いてくる奴にはあんま教えたくならないな・・・ 理系様が降臨なされた。質問する時は敬意を払い正確にお伝え差し上げろ。 偉そうとかはいいんだけど、1から10まで全部説明することになる予感がするので躊躇する 理系だとドメインを絞る質問をする癖が付いてるから文章だけで人種の違いが分かっちゃうのはそう 研究者/開発者向けみたいに販売経路を限定しないとdigitsも転売の餌食になりそうだけど、そうすると一般人も手に入らないジレンマ。 >>632
草
役者すんのも大変やな
そういやLlama cppにもいちおうGUI付いてるんだっけ？推論テスト用のおまけみたいなやつよな？ ■ このスレッドは過去ログ倉庫に格納されています
