テキストなんて圧縮すればアホほど縮むんだから
優秀なLLMを小サイズVRAMで実現するのはこれからの基本モデルの設計次第だろうな

現状の大規模に作って量子化してっていう発想はまるでスマートではない