あとはコンテキストサイズ的にはオーバーしていない場合でも対話の過程で色んな話題が出てきた結果脱獄用のプロンプトが紛れちゃって追従度が下がるということはある
Needle in a Haystack（干し草の中の針）テストというものがありこれは過去に出した話題を覚えているかという能力を測ったものだ

対話コンテキストのうち特定のワードに対する重要性をモデル側が適宜評価してその評価値を対話とは別の記憶領域で保持し続ける……みたいな動きをしたらより人間的な反応を示してくれそうでもっと面白いんだけどな