なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ ジェミニにSillyTavernは日本語化出来ますかって聞いたら出来ませんって返ってきたけど Digital Mate買ったけど声がwindows TTSのおばさん声しか出せない… >>545 R1の32BQ4で健全もやってみたけど >550 >>554 LM Studioでcyberagentの日本語deepseek R1を使っているのですが >>556 空の〈think〉〈/think〉を先に与えて続きから推論させれば飛ばせる事が多い >>555 >>554 >>559 そういうキャラの再現度はやっぱりローカルよりオンラインモデルが強いな >562 AItuber kitは最新版はdeepseekに対応してるよ。 >> 566追記 >>532 deepseekの推論はファーウェイのAscend 910Cを使ってるって話だけど 4090で動く(140gbあるのでメインメモリも128以上必要) 24GBに収まる超絶量子化かと思ったらなにそれぇ😨 >>565 96GBメモリが4万円くらいだから5090と合わせて50万で行ける可能性ある >>529 https://i.imgur.com/qPWG7wh.jpeg https://i.imgur.com/YPkALeK.jpeg いけんじゃーんってダウンロードしたら、メインメモリ100Gちょっとしかなかったんで動かせなかったわ Gigabyte MZ73-LM0(EPYC 2スロのMB)、EPYC 9115 x2, DDR5 768GBのCPU推論構成でフルR1動かして6-8token/s出るらしい。 >>580 EPYC 9115でその速度出せるのか ollamaで試したけどさすがに時間かかるねこれは 残念なことに長考した内容に引っ張られて『テストメッセージへの適切な対応例：』のリストを出してきて ほんまCPU推論で速度出るようなってほしいわ EPYC 9115って最大メモリ帯域480GB/sか >>568 メモリーバンドだけ太くてもね >>564 >>589 webで使えるdeepseekは普通に賢い 2スロットだとインターリンクが足をひっぱるぞ 中国のモバゲーのAIが1億人のプレイヤーと日々騙しだまされの駆け引きで訓練してめっちゃ進化してる 速度を完全に無視してしまえばR1 fp16 1.5TB >>571 deepseek 32b いろいろ試したけど >598 エロでエラーとは？ >599 DeepSeekR1-IQ1_S 130GBがRAM 64GB+3060 12GBで動くらしかったので試してみたら0.6t/sやったわ https://gist.github.com/Zuntan03/e7e76ccc36e773a9ef983383402879e8/raw/DeepSeekR1-IQ1_S.bat >>601 >>565 SillyTavernで日本語版R1のgguf使うときってモデルをロードするバックエンド側は何を使ってる？ >605 >>588 >>604 >603 えろを聞くとエラーにはならんけど申し訳されるな 5070ti買って使えるモデル増やそうかと思ったけど 5080も性能あまり変わらない割に値上がりしてコスパ悪いって話 Sakanaが新手法の「TAID」で作った軽量モデル https://huggingface.co/SakanaAI/TinySwallow-1.5B-Instruct-GGUF 5090以外は発売日が一番高いわけでどの場合でも即座に買う必要性はないのでは 24GBが32GBに増えてもLLM的には焼け石に水だよね🥺 LLM的には5090買う金あったら中古の3090増やせばおｋみたいな感じになっとるな >>618 AI用途なら1~2ヶ月は様子見が安定や 一枚じゃなくて中古でもいいから8枚載せたらいいのでは？🤔 mac数珠繋ぎってそんなに実用的なのか？Thunderboltで繋いでるならそこがボトルネックになると思うんだけど気にならないレベル？ どうせ買えないからdigitsの情報が出るまで両天秤で待機や DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S動かせた人います？ >>603 CPU推論だからGPUは何積んでても変わらないな。というか無くても良い。 llama.cppは新UIより旧UIのほうが応答が速くていいな DeepSeekさんの中の人も色んな性癖に付き合うの大変やろうな。 https://imgur.com/a/lakbQgp Project DIGITSが出る頃は画像認識とかもだいぶ発展してるだろうし digitsは3000ドル「から」なのが果てしなく不穏だ 5090は1999ドルなのに、日本では45万程度からだろ >>635 個人輸入だと米サイトでの熾烈な争奪戦に勝つ必要あるからだいぶしんどい qwenにすら負けるNECや東工大やNTTや情報学研だからな😅 >>632 deepseekのローダーは何かchatGPTに聞いてもはぐらかされるｗ 文系全開の文章で偉そうに聞いてくる奴にはあんま教えたくならないな・・・ 理系様が降臨なされた。質問する時は敬意を払い正確にお伝え差し上げろ。 偉そうとかはいいんだけど、1から10まで全部説明することになる予感がするので躊躇する ■ このスレッドは過去ログ倉庫に格納されています
