てかKoboldccpも新しいのが出たみたいなので全部新しくしたよ。cuda12の方を使っているけど爆速になった気がする？
Layer数を適切推定してくれるようになったみたいです。