キャラ自体が変わってしまうという意味ですか？
ポーズLORAの重みを下げても無理そうですか？