>>505
ツールのGGUF対応を待ってメインメモリへのオフロードを前提にすれば必要なメモリはだいぶ減るで

ワイのメモリ128GB&VRAM24GB環境でもいつかは動くと信じて口開けて待っとるで