>>79
4bit量子化とはいえ、671Bとはすごいね
しかも5.37token/sもでるのはMoEモデルならではとな
その構成のM4 pro 8台なら270万円〜 ww
でも研究者用にはよさそうだ
Apple のAIサーバーはM2 Ultraを並べてて色々欠点をあぶり出していて
その結果M5からGPUがAI向けにチューニングされているという噂
でもM4 maxがでたら我慢できないかも