なんJLLM部 避難所 ★10
今思うとgpt-oss-120bって公式でmxfp4で配ってて
当時であの精度出してるのは結構すごいことだったんだな
他の同等モデルたちがフルサイズでベンチマークかけられてるのに対して
gpt-ossは4bitで戦ってたわけだから
4bitってなんだかんだ言って結構劣化するもんなぁ >>833, 836
返信ありがとう
みんなシステムプロンプトで回避してる感じなのかな
フロントエンドでollama使ったときとpythonで直にAPI叩いたとき両方でたまに申し訳された感じだった
heretic化前はRefusalsが96/100だったから不通に検閲されてるモデルなんだと思うけど k2.5 unslothの1.8bit版ならVRAM24GBと256GBメモリで10 token/sで動くらしい
メモリ256GBなら個人でも持ってる人居そうやな… 1.8bitやし性能はお察しやろうな…
エロに限定すれば使い物になるのかも？ 俺様スペックで
LM Studio-lumimaid-magnum-v4-12bはエロ最強だ
最近のがっかり
Mistral Small 3.2 24B Instruct 2506
zai-org/glm-4.6v-flash そろそろQwen3-VL-235Bより頭良くてエロいけるのが欲しい 