なんJLLM部 避難所 ★10
k2.5をローカルで動かすにはどれくらいのスペックが必要なんや？ >>831
フロントエンド何つこてる？
lm studioとkoboldcppで使った経験あるがあれで申し訳された経験はないな。おそらくシステムプロンプトに問題があるとは思うが kimi k2はパラメータ数が1Tだからある程度妥協してQ4、KVキャッシュも含めたら768GBくらいはいる
劣化させたくないならQ8+KVキャッシュで1.5GBくらい、
フルならbf16+kvキャッシュで3TBくらいいるんとちゃう 今思うとgpt-oss-120bって公式でmxfp4で配ってて
当時であの精度出してるのは結構すごいことだったんだな
他の同等モデルたちがフルサイズでベンチマークかけられてるのに対して
gpt-ossは4bitで戦ってたわけだから
4bitってなんだかんだ言って結構劣化するもんなぁ >>833, 836
返信ありがとう
みんなシステムプロンプトで回避してる感じなのかな
フロントエンドでollama使ったときとpythonで直にAPI叩いたとき両方でたまに申し訳された感じだった
heretic化前はRefusalsが96/100だったから不通に検閲されてるモデルなんだと思うけど k2.5 unslothの1.8bit版ならVRAM24GBと256GBメモリで10 token/sで動くらしい
メモリ256GBなら個人でも持ってる人居そうやな… 1.8bitやし性能はお察しやろうな…
エロに限定すれば使い物になるのかも？ 俺様スペックで
LM Studio-lumimaid-magnum-v4-12bはエロ最強だ
最近のがっかり
Mistral Small 3.2 24B Instruct 2506
zai-org/glm-4.6v-flash そろそろQwen3-VL-235Bより頭良くてエロいけるのが欲しい うへぇSillyTavernのRSS拡張機能がなんか動かない...
config.yamlからenableCorsProxyをtrueにして関数呼び出しはできているけどRSSフィードの取得に失敗する...
動かせている人居る？ >>845
自己レス
拡張機能の「RSS Feeds」欄にスラッシュコマンド入れるというアホなことしてた
スレ汚しごめんね 