なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ >>373 >>375 みんな優しい。ありがとう。ちょっと疲れて気分落ちていたみたい >>385 最適化版試してみたけど違いわからんレベルだな 大葉を使っている人は居ないのか？みんなkoboldなのか？ Command R+ iq4_xsをRAM 64GB, RTX 3060 12GBで0.5T/s動作したメモ共有しとくで https://twitter.com/Zuntan03/status/1778441181741158764 >>386 >>213 初歩的なことですまんけど、koboldcppで対話するときに出てくるアイコンはどこで変更するの？ >>390 >>392 ローカルでcommand-Rプラスをサクサク動かすのってやっぱM2MAXとかぐらいしか現実的に無理なんか？ >>396 3090+4060Tix2でvram56GB確保してiq3なら6tsくらい出てるからまあそこそこサクサクといえばサクサクかなって感じ LightChatAssistant最適化版、良くも悪くもまともになってる感があるな それこそランダムな画像からエロく見える方を選ぶ奴みたいなサービスを展開したほうがサンプルは集まりそう これローカルで動かせる猛者おりゅ？ https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1 command-r-plus、一旦出力し始めると4-5tokens/secで早いけど、出力を始める前の処理にかかる時間結構長くて、そこがきついな >>400 どっかで動かしてめちゃくちゃ人力で評価フィードバックさせたら進化とかすんのかな ある意味chatGPTはそれを真面目にやった結果では？ command-r-plus、メモリ40GBでは量子化されたファイルでも歯が立たなかった 基本macでunified memoryでかいの積んで動かすのが安上がりなんじゃないか？ >>390 を5950X、RAM64GB、4070Tiで動かして0.7T/s出るわ macをもう1台用意するのは面倒でなぁ… >>409 >>399 みたいなのが安かったりして >>408 Windows11proにしてメモリ2TB乗せれば解決や！ command-r plusの4bit量子化版やけど command-r plusの日本語性能に慣れてしまってもう他じゃ満足できなくなってしまった というか、cohereには70Bくらいの中型モデルを出して欲しい もっとお前らもc9mmand r +研究したほうがいいぞ M2の64GB以上積んだmacかグラボ複数枚刺しじゃないと実用速度出ないってのはハードルが高いわな >>419 Command R+のAPIは月に5000回か1000回試せるらしいんだけど、エロ小説目的だとすぐ5000回いきそう。 https://docs.cohere.com/docs/going-live https://docs.cohere.com/docs/c4ai-acceptable-use-policy WindowsPCで動かす場合メモリは足りてるとしてCPU依存で速度って変わるの？ command-R＋は現在cohereで無料使いたい放題だからわざわざローカルでやる気にならん model stockっていう新しいマージ方法ってどうなんだろう わいも一応ggml-c4ai-command-r-plus-104b-iq3_xxsで動かせたわ RとR+の性能差が思ったよりエグイ >>429 https://huggingface.co/dranger003/c4ai-command-r-plus-iMat.GGUF Oobaも何時間か前にDevでCommand rがどうたらのコミットがmainにマージされとるからかgit pullして最新にしたら動くわ。venvは一旦全消ししてPytorchとrequirementsは入れ直した どうせ遅さを我慢するなら128GBのRAM積んでq6くらいのモデル動かしたほうがいいのか？ Mixtral8x22Bを日本語対応したらしいKarasu-Mixtral-8x22Bてのをlightblueが出してたので試してみた https://rentry.org/asoyyef2 >>435 そこそこ思考力あんだなーって見てたら"ミズミズ、ウインウイン！"でめっちゃ笑った >>436 command-r plus iq3でようやくローカルで動いたけど、このレベルのaiが自宅で動くのヤバいなchatGPTを私物化してる気分だ RTX2080(8GB) + RAM64GBでcommand-r plus iq3を動かして0.4t/s メインメモリに溢れた分が足引っ張ってるんだろうけど 128GBのRAM積んだPC持ってる猛者が実験してくれんかな？ Windowsでやってる人の見るとMacで動かすのが今の所現実的だな Aratako/LightChatAssistant-2x7B-optimized-experimental Llamaベースで日本語Finetuningしたベンチでイケてると謳うモデルがポツポツと出るたび試しては う〜ん、この を繰り返してきたからcommand-r-plusはわりと光明 >>446 RAM多く積んでも速度は変わらないけど、q6とかq8とか使えるようになるから多少は意味があるかも >>443 しかしメインメモリの帯域不足でこんなに苦しむ日が来るとは思わんかったで…… WindowsPCの場合、VRAMにフルロードできる変態マシンでない限り12GBだ24GBだと言ってもさほど速度は変わらないのよな そのPCだとcommand-r-plusってどれくらいの速度で動くの？ RAMが遅いというより、CPU処理が遅いのが問題 なんとか70Bのchatvectorマージができるようになった https://rentry.org/wbfsvhm9 >>305 のswallowの変貌を見ても明らか（あのお堅いswallowがｗ） https://rentry.org/9qevqzpg 全部VRAMで動かそうとしたら今だったらgeforce4600ti 16GBを4枚とか刺せばいいんだろうけど しかもそんだけやってもVRAM増えるだけで1枚しか演算には使ってないんやろ？ 単発のリクエストじゃLLMの仕組み上速くはならんやろなぁ >>455 HBM積んで見たりアホほどメモリチャネル増やしたりSRAM爆盛してみたりで専用アクセラレータみたいなんそこらで作ってるけど RTX3060複数枚ぶっ刺しててVRAM確保してたニキおったけどPCI-Express 16Xのレーンが3つ4つあるマザボ買ってきてぶっ刺せばええんか? command-r-plusやっぱすげぇな >>399 の3090+4060Tix2という構成で6token/s出てるって言うから全部VRAM化マジでやりたくなる >>461 >>463 https://souzouno-yakata.com/2019/02/17/38080/ ) 結局ｍacがお手軽だけど今だと68万の96GB版しか選べないな >>390 >>455 実はpcieのレーンはx1でも推論には影響ないから、普通のマザボにライザーカードでグラボ増やして問題ないよ マイニングリグの残骸から環境作った件は私も前にチラッと書いたけど(ggufで動かす場合) 推論だけならメモリ帯域はほとんど使わないのか これ、7Bだけど対話型求めてる人には結構良いかもしれん https://huggingface.co/Aratako/Antler-7B-RP windowsのRAMで動かしてる人がみんな似たような速度ってことはCPU性能には依存しないのか？ 推論速度について話題になってるみたいなので、CPU推論について本スレに過去貼ってあったのをこちらにも貼っとく https://note.com/bakushu/n/n26537fab5a14 https://vectory.work/memory-bandwidth/ koboldのamount genって直接入力で512以上にできるけど あと体感だとVRAMにオフロードできるレイヤー数が、総レイヤーの5〜6割になったあたりから速くなり始めるように感じる >>474 R+の4bit量子化版、RTX2080(8GB) + RAM64GBで0.4t/sで動いたのに >>478 contex_sizeがいつの間にか変わっていたみたいだった… CommandR+ >>431 のiq4xsだと、うちの環境(VRAM12GB+8GB)では0.6T/sしか出んかった >>445 お前らってCommandR(+でもいいけど)使うときってどれくらいドキュメント通りのプロンプト使ってる？ sbtom/karakuri-midrose-CV.gguf https://rentry.org/cy3uzeqd https://imgur.com/a/VIujgjs 続き https://huggingface.co/aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2 ■ このスレッドは過去ログ倉庫に格納されています
