なんJLLM部 避難所 ★10
GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね
Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな GLM 4.5ならともかく、4.6か4.7ならGemini2.5fは越えてるだろ >>774-776
おおきに macOS上LM Studioでちゃんと翻訳できましたわ 