なんJLLM部 避難所 ★10
0001名無しさん@ピンキー 転載ダメ (ワッチョイ dfc7-Jvli)2025/11/23(日) 22:55:29.17ID:kt2SGedd0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
0838名無しさん@ピンキー (ワッチョイ 9ea9-jbA7)2026/01/29(木) 12:54:20.47ID:0vQW0f4i0
今思うとgpt-oss-120bって公式でmxfp4で配ってて
当時であの精度出してるのは結構すごいことだったんだな

他の同等モデルたちがフルサイズでベンチマークかけられてるのに対して
gpt-ossは4bitで戦ってたわけだから
4bitってなんだかんだ言って結構劣化するもんなぁ
0839名無しさん@ピンキー (ワッチョイ 0a9a-v5Ab)2026/01/29(木) 13:01:52.60ID:pDXz5Kxh0
>>833, 836
返信ありがとう
みんなシステムプロンプトで回避してる感じなのかな
フロントエンドでollama使ったときとpythonで直にAPI叩いたとき両方でたまに申し訳された感じだった
heretic化前はRefusalsが96/100だったから不通に検閲されてるモデルなんだと思うけど
0840名無しさん@ピンキー (ワッチョイ af6b-qxTp)2026/01/29(木) 14:02:53.73ID:y80AVPBn0
k2.5 unslothの1.8bit版ならVRAM24GBと256GBメモリで10 token/sで動くらしい
メモリ256GBなら個人でも持ってる人居そうやな…
0842名無しさん@ピンキー (ワッチョイ af6b-qxTp)2026/01/29(木) 14:34:11.74ID:y80AVPBn0
1.8bitやし性能はお察しやろうな…
エロに限定すれば使い物になるのかも?
レスを投稿する


ニューススポーツなんでも実況