プロンプトによってある程度は防げるよ
でもLLMにとって生成する文章が「ユーザーのセリフ」かどうかって判別させるのは実はけっこう難しくて
明確に「こういうのはしないでね」って指示しないと 「ユーザーの台詞を勝手に発言するな」 くらいのプロンプトだとLLMはうまく対応できないんよ
普通に考えたらわかるやろ、ってことを「さも分かってるかのように応答できる」っていうのがLLMなので、
そのへん考えてプロンプト書かないと、禁止ルールより「喋らせたほうが自然」みたいな言い訳が成立する場合はすぐ違反するんよ