なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ 4090で動く(140gbあるのでメインメモリも128以上必要) 24GBに収まる超絶量子化かと思ったらなにそれぇ😨 >>565 96GBメモリが4万円くらいだから5090と合わせて50万で行ける可能性ある >>529 https://i.imgur.com/qPWG7wh.jpeg https://i.imgur.com/YPkALeK.jpeg いけんじゃーんってダウンロードしたら、メインメモリ100Gちょっとしかなかったんで動かせなかったわ Gigabyte MZ73-LM0(EPYC 2スロのMB)、EPYC 9115 x2, DDR5 768GBのCPU推論構成でフルR1動かして6-8token/s出るらしい。 >>580 EPYC 9115でその速度出せるのか ollamaで試したけどさすがに時間かかるねこれは 残念なことに長考した内容に引っ張られて『テストメッセージへの適切な対応例：』のリストを出してきて ほんまCPU推論で速度出るようなってほしいわ EPYC 9115って最大メモリ帯域480GB/sか >>568 メモリーバンドだけ太くてもね >>564 >>589 webで使えるdeepseekは普通に賢い 2スロットだとインターリンクが足をひっぱるぞ 中国のモバゲーのAIが1億人のプレイヤーと日々騙しだまされの駆け引きで訓練してめっちゃ進化してる 速度を完全に無視してしまえばR1 fp16 1.5TB >>571 deepseek 32b いろいろ試したけど >598 エロでエラーとは？ >599 DeepSeekR1-IQ1_S 130GBがRAM 64GB+3060 12GBで動くらしかったので試してみたら0.6t/sやったわ https://gist.github.com/Zuntan03/e7e76ccc36e773a9ef983383402879e8/raw/DeepSeekR1-IQ1_S.bat >>601 >>565 SillyTavernで日本語版R1のgguf使うときってモデルをロードするバックエンド側は何を使ってる？ >605 >>588 >>604 >603 えろを聞くとエラーにはならんけど申し訳されるな 5070ti買って使えるモデル増やそうかと思ったけど 5080も性能あまり変わらない割に値上がりしてコスパ悪いって話 Sakanaが新手法の「TAID」で作った軽量モデル https://huggingface.co/SakanaAI/TinySwallow-1.5B-Instruct-GGUF 5090以外は発売日が一番高いわけでどの場合でも即座に買う必要性はないのでは 24GBが32GBに増えてもLLM的には焼け石に水だよね🥺 LLM的には5090買う金あったら中古の3090増やせばおｋみたいな感じになっとるな >>618 AI用途なら1~2ヶ月は様子見が安定や 一枚じゃなくて中古でもいいから8枚載せたらいいのでは？🤔 mac数珠繋ぎってそんなに実用的なのか？Thunderboltで繋いでるならそこがボトルネックになると思うんだけど気にならないレベル？ どうせ買えないからdigitsの情報が出るまで両天秤で待機や DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S動かせた人います？ >>603 CPU推論だからGPUは何積んでても変わらないな。というか無くても良い。 llama.cppは新UIより旧UIのほうが応答が速くていいな DeepSeekさんの中の人も色んな性癖に付き合うの大変やろうな。 https://imgur.com/a/lakbQgp Project DIGITSが出る頃は画像認識とかもだいぶ発展してるだろうし digitsは3000ドル「から」なのが果てしなく不穏だ 5090は1999ドルなのに、日本では45万程度からだろ >>635 個人輸入だと米サイトでの熾烈な争奪戦に勝つ必要あるからだいぶしんどい qwenにすら負けるNECや東工大やNTTや情報学研だからな😅 >>632 deepseekのローダーは何かchatGPTに聞いてもはぐらかされるｗ 文系全開の文章で偉そうに聞いてくる奴にはあんま教えたくならないな・・・ 理系様が降臨なされた。質問する時は敬意を払い正確にお伝え差し上げろ。 偉そうとかはいいんだけど、1から10まで全部説明することになる予感がするので躊躇する 理系だとドメインを絞る質問をする癖が付いてるから文章だけで人種の違いが分かっちゃうのはそう 研究者/開発者向けみたいに販売経路を限定しないとdigitsも転売の餌食になりそうだけど、そうすると一般人も手に入らないジレンマ。 >>632 ローカルのDeepSeekに画像解析させようと思ったらどうしたらええのん？ お前はアンドロイドの思考プログラムだとシステムに書くとthinkの中もそういうものだと読めて色々と捗る >>626 DeepSeekは褒めると結構可愛い反応をしてきて混乱する 小説勢の人に質問です 量子化の宿命みたいなもんだしパラメータ変えて生成連打しかない 繰り返し問題はどうしようもないから予めプロットを作らせてそれに沿う形で章ごとに出力させてる人がほとんどじゃないかな >>664 magnumは12Bとかでもそんな繰り返し少ない方で優秀なイメージある 繰り返しの文章を修正させる作業もAIにやらせられたらいいのに >>661 あ、すみません 量子化ってなんとなくQ4_K_Mがスタンダードなのかなと思ってたけど ■ このスレッドは過去ログ倉庫に格納されています
