なんJLLM部 避難所 ★6
レス数が1000を超えています。これ以上書き込みはできません。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>990
ローカルじゃないと都合が悪い事があるんよ
言わせんなw 最近の半導体製品の価格高騰は TSMCやらの設備投資費増大が大きいから、お金がある人がバンバン使ってくれればコスト下落が加速されて庶民にもメリットありそう 512gb必要なのはdeepseekだけだからdeepseekあきらめて100bクラスをq6あたりで動かすことを目標にすると
192gbありゃ十分なんだけどそれでも結局m2かm3しか選択肢が今のところないのよね
project digits(名前変わったけど正式名称忘れた)が256gbに増えてくれたらなぁ
3000ドルが4500ドルくらいになったとしてもm3 macの価格見たら十分勝負できるんと違うかな >>996
日本語特化のfinetuneするにはまだ足りないw >>992
loboldcppのcudaモードって、起動してからの項目じゃなくて
一からビルドせんとあかんのね……
git clone https://github.com/LostRuins/koboldcpp.git
cd koboldcpp
mkdir build
cd build
cmake .. -DLLAMA_USE_CUDA=ON
make -j
したあとvisualstudioでビルドして、出来たkoboldcpp.exeを
./koboldcpp --use-cuda
て事なんかな、いま調べてビルド中や、ありがとうやで
出来たら比較の数値貼るわ >>998
待て待て
起動してからcudablustだっけ
今出先やから確認できんが
デフォだとcpuモードになってるから切り替えるだけや このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 37日 17時間 30分 37秒 レス数が1000を超えています。これ以上書き込みはできません。
