なんJLLM部 避難所 ★6
レス数が1000を超えています。これ以上書き込みはできません。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>974
ああっcmd上でやっちまった！
根本的に間違えとったでごわす、すまんやでそしてありがとうやで
llamacppはDLすらしとらんかった
Vramは24、Dramは128や
そんでllamacppで調べたら全部コマンドラインなんかこれ……
GUIが欲しいわ！GUIを見せて頂戴！
qwq-32b-q4_k_mで例文を書く作業に戻るンゴ >>975
上の方にcmdで結合できるgguf貼ってるで
あっちの方が楽かも >>977
ちゃうちゃう
>>793
こっちや
あとそんだけメモリあるならq8_0いったらんかいw
それとmagnum 123bもかなりええで モデルによって違うかもしれんけど、キャラクターカードに
「セックスが大好き」「淫乱」とか入れるとAIの方から求めてくるエロキャラになるから
カードを作り込めば接待もできそうではある >>978
おおっサンガツやで！動くなら大きくてもええんや
https://huggingface.co/mradermacher/c4ai-command-a-03-2025-i1-GGUF/tree/main
ここやね、Q8ないけどQ6Kでやってみるで
あとcmdで結合できるファイル状態のmagnum 123b
magnum 123b part1of で検索しても見つからんわ
ひょっとして皆、総当たりしとるんか……？ >>980
同じ人のところに
mradermacher/c4ai-command-a-03-2025-GGUF
ってi1がついてない方にQ8はあるで
magnum123bも同じ人がアップしてくれてる
この人はcmdで結合できる形式でアップしてくれるからいつも利用してるわ
ただアップ量多すぎて探しにくいから
名前とモデル名で検索かけんと見つけにくいw >>981
大いにサンガツやで
いまc4ai-command-a-03-2025.i1-Q6_K.gguf 88G読み込めたわ
メモリ111G使っとるわ……ブラウザ複数でタブ開いとるとQ6がギリやね
「紅茶の茶葉の種類おしえて」って聞いたら
5分くらいでも(512 / 1982 tokens)だわ
もう眠くなってきたんやけど……寝るわ……
アドバイスくれた二キありがとやで！ https://www.youtube.com/watch?v=HG_24EFF-Uw
Mac Studio M3 Ultra 512GB、Redditでさんざん叩かれてたのと違って普通に速度出てるじゃん…
はー、Blackwell 96GBなんて放り捨てて買っちゃおうかなあ 文章打つのめんどくさいからTRPG方式にして
1
とかしか返信しないワイ低みの見物 5080に48GB搭載した奴で値段90〜100万
5090に96GB搭載した奴がアリバイ価格143万、実売推定180~200万
そう考えると150万ほどのM3 512GBはかなり優秀よな >>984
画像はLoraとかのメモリいる処理をmacでやって
生成は速度重視でwinでやろうと思ってる c4ai-command-a-03-2025.i1-Q6_K.gguf やってみたで
確かに賢い、27Bあたりとは核が違う感じ
遅いのだけが悔しいンゴ
リアルタイムでの会話を楽しむのは無理やね
なるほどこれは速いマシンが欲しくなるわ >>988
pcスペックと何トークン/s出たか教えてくれりんす 150万出す気があるんだったらGPU借りた方が良いような気もする
安いところだったら丸280日分あるから毎日2時間遊ぶとしておよそ9年分
もちろん価格が上がる可能性はあるが >>989
4090、DDR4(128G)、kobold＋Silly
まだいじり初めてよう解らん状態なんやが、これで参考になるやろか
最初の一文目
CtxLimit:2076/4096, Amt:94/350, Init:0.01s, Process:1645.92s (1.20T/s), Generate:257.60s (0.36T/s), Total:1903.52s
最後の一文
CtxLimit:3772/4096, Amt:26/350, Init:0.04s, Process:23.50s (1.19T/s), Generate:74.96s (0.35T/s), Total:98.47s
トータル秒が最初が1903と長いのは方向性を決めかねているからなねえ >>991
情報サンクス
0.35はなんかちょっと遅い気がする
kobold起動する時cudaモードにしてる？
q6のせいかもしれんけど >>990
ローカルじゃないと都合が悪い事があるんよ
言わせんなw 最近の半導体製品の価格高騰は TSMCやらの設備投資費増大が大きいから、お金がある人がバンバン使ってくれればコスト下落が加速されて庶民にもメリットありそう 512gb必要なのはdeepseekだけだからdeepseekあきらめて100bクラスをq6あたりで動かすことを目標にすると
192gbありゃ十分なんだけどそれでも結局m2かm3しか選択肢が今のところないのよね
project digits(名前変わったけど正式名称忘れた)が256gbに増えてくれたらなぁ
3000ドルが4500ドルくらいになったとしてもm3 macの価格見たら十分勝負できるんと違うかな >>996
日本語特化のfinetuneするにはまだ足りないw >>992
loboldcppのcudaモードって、起動してからの項目じゃなくて
一からビルドせんとあかんのね……
git clone https://github.com/LostRuins/koboldcpp.git
cd koboldcpp
mkdir build
cd build
cmake .. -DLLAMA_USE_CUDA=ON
make -j
したあとvisualstudioでビルドして、出来たkoboldcpp.exeを
./koboldcpp --use-cuda
て事なんかな、いま調べてビルド中や、ありがとうやで
出来たら比較の数値貼るわ >>998
待て待て
起動してからcudablustだっけ
今出先やから確認できんが
デフォだとcpuモードになってるから切り替えるだけや このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 37日 17時間 30分 37秒 レス数が1000を超えています。これ以上書き込みはできません。
