VRAMが16GBしかないけど123Bのモデルとかで遊びたい場合はGPUで推論させてメモリに溢れさせるより
CPUだけで推論した方が良いんかな
VRAMに載るモデルだと叡智小説の振り幅に限界感じてきた