なんJLLM部避難所 ★10

0778名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)

2026/01/16(金) 20:06:58.89ID:0byVmzBK0

512GByteのM3 Ultraでも足りないよ

0779名無しさん＠ピンキー (ﾜｯﾁｮｲ 33d1-KoMk)

2026/01/16(金) 21:03:16.23ID:lHszIG5Q0

今ローカルで使える最強のモデルでもgemini 2.5 flashあたり
今の最新のgemini超えるにはメモリがどうとかって話ではなくて不可能

0780名無しさん＠ピンキー (ﾜｯﾁｮｲ f232-+fC0)

2026/01/16(金) 21:32:12.97ID:cTWCf5y30

あのgrok2さんが500GBぐらいあるからね
まあサイズが性能ではないけど

0781名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)

2026/01/16(金) 21:32:43.81ID:ZwE9wbul0

>>779
Gemini2.5fでも魅力的だが、その場合は256GB？

0782名無しさん＠ピンキー (ﾜｯﾁｮｲ 36a9-KoMk)

2026/01/16(金) 22:00:31.51ID:khTupJvD0

GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね

Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで

0783名無しさん＠ピンキー (ﾜｯﾁｮｲ 662b-uqmN)

2026/01/16(金) 22:28:03.19ID:2veUatO60

ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな