なんJLLM部 避難所 ★9
レス数が950を超えています。1000を超えると書き込みができなくなります。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>980
量子化どのサイズ使ってる？
winならiQ4_xsがギリと思うけど >>985
いま外にいるからモデル名までは分からんけど
俺が試してみたのはUbuntu Linuxでメモリ80GB/VRAM16GB環境だから
かなり無理して圧縮したやつ
メモリ256GBくらいあればマシになるんだろうな >>985
iQ1ならGLM4.6じゃなくても日本語ボロボロかなぁ 128GBでQ2だとまあまあちゃんとしゃべる
Air準備してるらしいからそっちも期待やな MoEってdenseより量子化に敏感って印象
無理してi1を動かすよりglm airかqwen nextあたり動かしたほうがええやろな 同感
メモリ128GB環境やがGLM4.6のIQ2XXSよりもQWEN3-235BのIQ4XSの方が目に見えて早いし頭いい
4.6Airとかllama.cppのQWEN NEXT対応が待ち遠しいわ レス数が950を超えています。1000を超えると書き込みができなくなります。
