Loraの影響範囲を制限する方法あったら教えてください。
たとえばLora1とLora2があり、
　Lora1：目当てのキャラのLora
　Lora2：おもちゃを描画するためのLora
だとして、画像の生成に両方を使います。
Lora1で作った顔はいい感じなのに、そこにLora2の要素が混ざって顔が微妙な感じになったりします。
Lora2にはおもちゃの描画以外の影響を与えてほしくないのですが、そのような制限をする方法はありますか？