ローカル始めるなら最初はkoboldcppが簡単だろうな
こいつでGGMLモデルってのを動かすとRAMメインで動くからバケモノみたいなグラボ持ってなくても動かせる
RAMは32GB以上欲しいが小さいモデルなら16GBでもいけるぞ