サイバーエージェントのlm3-22Bの4bitロードで使えばかなり良いのが出るよ
あまり話題にならないのが不思議
VRAMも合計20GBあれば余裕だし
ChatGPTのプロンプトがそのまま使える