なんJLLM部 避難所 ★3
レス数が1000を超えています。これ以上書き込みはできません。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 4090 + CPUでIQ3を動かすので0.7token/sとかだからなぁ・・・
完全CPUとか考えたくもない やってみたらいいじゃんの精神。CPU版のPytorch使った場合で
Command-r-plus-08-2024 の IQ3 XXSで 0.3token/s くらいだったよ
CPUは 14700K、8スレッド設定、微アンダークロック。メモリは DDR5-5600ね
メインメモリの帯域不足が一番のボトルネックだと思う。もっと廉価なCPUでも0.2〜0.3token/s出るんじゃないかな ルール付けは文章全体よりも単語の重さが重視されるというか
例えば "感じない" っていう言葉に対しては感じの部分を拾っちゃって
結果的に感じるキャラになってしまう事が考えられる。
なので "性行為は苦痛" とかそういったルール付けの方が良いと思う。 あとTanukiをtext-generation-webui か koboldで動かしたいんだけどよく分からなかった、情報求む
分かっている事
・GGUFは諸々の理由で性能が落ちるから非推奨、vLLMかAutoGPTQかAutoAWQでの読み込みを推奨
・Tanukiは独自アーキテクチャを使用してるので、AutoGPTQ、AutoAWQの現存ローダーでは読み込めない
・Tanuki製作者が独自に改変したAutoGPTQ、AutoAWQが公開されていて、恐らくそれで読み込める AWQなら普通のTransformersで読み込めたよ >>967
これ日本語対応してたっけ？
mmnga氏の量子化にはタグついてたけど >>976
CPUのみで古い方のCommand R+ iQ4 xs使ってるけど 0.5t/sくらい。
チャットは無茶だけど、ちょっとした記事生成には使えない事はない。
Ryzen 7 7840U 64GB command-rにTRPGのGMやらせてる人ってどんな環境でやってる？
やらせようとしても自分がGMやった時の感想を延々と述べるだけで全然やりたいようにならないんよ… >>985
「寝てる間に回しておく」とかならまあいけるな 風呂の間に回しておく
コンビニ行く間に回しておく
…いにしえのアドバンスド大戦略思い出したわ >>978
>>985
フルCPUで0.5t/sで、
RTX4090に24GB分任せても0.7t/sじゃ、
そんなに速くはならないんだな。
まぁ他にも要因はあるんだろうけど。
やはり全部GPUにしないと
しかしそうすると、RTX4090で24GB載せて、残りCPUで0.7 全部GPUに乗せるのと一部CPUに乗せるのは速度が全然違うと思う redditでreflect 70Bは詐欺とか騒がれてるね
公式APIの出力がsonnet3.5の出力が完全に一致したとか >>991
なぬ？
じゃあ、あれはsonet3.5なのか？？ 試してみたが思考過程が見えるから面白いなｗ
なんに使うか知らんが このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 93日 9時間 46分 0秒 レス数が1000を超えています。これ以上書き込みはできません。
