なんJLLM部 避難所 ★6
レス数が1000を超えています。これ以上書き込みはできません。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>988
pcスペックと何トークン/s出たか教えてくれりんす 150万出す気があるんだったらGPU借りた方が良いような気もする
安いところだったら丸280日分あるから毎日2時間遊ぶとしておよそ9年分
もちろん価格が上がる可能性はあるが >>989
4090、DDR4(128G)、kobold＋Silly
まだいじり初めてよう解らん状態なんやが、これで参考になるやろか
最初の一文目
CtxLimit:2076/4096, Amt:94/350, Init:0.01s, Process:1645.92s (1.20T/s), Generate:257.60s (0.36T/s), Total:1903.52s
最後の一文
CtxLimit:3772/4096, Amt:26/350, Init:0.04s, Process:23.50s (1.19T/s), Generate:74.96s (0.35T/s), Total:98.47s
トータル秒が最初が1903と長いのは方向性を決めかねているからなねえ >>991
情報サンクス
0.35はなんかちょっと遅い気がする
kobold起動する時cudaモードにしてる？
q6のせいかもしれんけど >>990
ローカルじゃないと都合が悪い事があるんよ
言わせんなw 最近の半導体製品の価格高騰は TSMCやらの設備投資費増大が大きいから、お金がある人がバンバン使ってくれればコスト下落が加速されて庶民にもメリットありそう 512gb必要なのはdeepseekだけだからdeepseekあきらめて100bクラスをq6あたりで動かすことを目標にすると
192gbありゃ十分なんだけどそれでも結局m2かm3しか選択肢が今のところないのよね
project digits(名前変わったけど正式名称忘れた)が256gbに増えてくれたらなぁ
3000ドルが4500ドルくらいになったとしてもm3 macの価格見たら十分勝負できるんと違うかな >>996
日本語特化のfinetuneするにはまだ足りないw >>992
loboldcppのcudaモードって、起動してからの項目じゃなくて
一からビルドせんとあかんのね……
git clone https://github.com/LostRuins/koboldcpp.git
cd koboldcpp
mkdir build
cd build
cmake .. -DLLAMA_USE_CUDA=ON
make -j
したあとvisualstudioでビルドして、出来たkoboldcpp.exeを
./koboldcpp --use-cuda
て事なんかな、いま調べてビルド中や、ありがとうやで
出来たら比較の数値貼るわ >>998
待て待て
起動してからcudablustだっけ
今出先やから確認できんが
デフォだとcpuモードになってるから切り替えるだけや このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 37日 17時間 30分 37秒 レス数が1000を超えています。これ以上書き込みはできません。
