なんJLLM部 避難所 ★9
レス数が950を超えています。1000を超えると書き込みができなくなります。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured MoEってdenseより量子化に敏感って印象
無理してi1を動かすよりglm airかqwen nextあたり動かしたほうがええやろな 同感
メモリ128GB環境やがGLM4.6のIQ2XXSよりもQWEN3-235BのIQ4XSの方が目に見えて早いし頭いい
4.6Airとかllama.cppのQWEN NEXT対応が待ち遠しいわ llamacppのqwen next対応時間かかっとるね
あのprは動くようにするの最優先でパフォーマンスは別prにするって言ってたけど
レビュー段階に入ってからなんだかんだパフォーマンスの部分も手つけ始めとるな nemotron-nanoも計算に細かいバグがあるんじゃない？って言われてるみたいだし
ハイブリッドモデルは全体を正しく計算できるように設計するのが難しいみたいだね GLM4.6は量子化の影響めっちゃ受けるね
Q4とQ5でも違いを感じるな
GLM4.5はQ4でもそんなことなかったのに
Q4は出力が時々変になるけどQ5はかなり抑えられる感じ
Q6でやっとオリジナル相当かな？
ただ、小説用途でサクッと読む程度ならQ4でも問題ない感じ
GLM4.6は今まで試してきたLLMの中で一番賢い
メモリ512GB積んだMac Studioくらいのスペックでサクサクと動かしてみたいもんだわ レス数が950を超えています。1000を超えると書き込みができなくなります。
