なんJLLM部 避難所 ★9
レス数が950を超えています。1000を超えると書き込みができなくなります。
glm4.6がchatbot arenaの日本語ランキングにようやく出てきたけど、
ここで言われてたようにローカルの中じゃぶっちぎりの性能だね
どっかにLLMは3.5ヶ月ごとに半分のパラメータで同じ精度を実現できるようになってるってニュースが出てたけどまじでそのくらいの速度かもなぁ >>979
量子化すると日本語がボロボロになるのがなぁ…… もうエロていうか変な洗脳止めて不道徳なことも言わせられるようにすればいいのに >>981
AIに暴言吐かれて傷つきました→訴訟へ
こんなことがあり得る国がAIをリードしてるんやで 訴えられたら無視できんやろ
クレーマーがキチガイすぎるんや >>980
量子化どのサイズ使ってる？
winならiQ4_xsがギリと思うけど >>985
いま外にいるからモデル名までは分からんけど
俺が試してみたのはUbuntu Linuxでメモリ80GB/VRAM16GB環境だから
かなり無理して圧縮したやつ
メモリ256GBくらいあればマシになるんだろうな >>985
iQ1ならGLM4.6じゃなくても日本語ボロボロかなぁ 128GBでQ2だとまあまあちゃんとしゃべる
Air準備してるらしいからそっちも期待やな MoEってdenseより量子化に敏感って印象
無理してi1を動かすよりglm airかqwen nextあたり動かしたほうがええやろな 同感
メモリ128GB環境やがGLM4.6のIQ2XXSよりもQWEN3-235BのIQ4XSの方が目に見えて早いし頭いい
4.6Airとかllama.cppのQWEN NEXT対応が待ち遠しいわ レス数が950を超えています。1000を超えると書き込みができなくなります。
