他のローカルLLMでもよく起きるけど、上でも少し話題になってた過学習の問題じゃないかな
一般論的には少ない指示で多くを語らせようとすると出やすい気がする
対策としては向こうが話に答えやすいようにこちらの会話内容や指示を濃くして、
チャットなら返答テキスト数を絞らせる、小説なら指示を提示しないまま続きをどんどん書かせないとか

あと試したことないけど、シンプルに「指定した登場人物以外は出さない」ってプロンプトに入れたらどうなるんかしら