OpenAI初めとするLLMのAPIは
ステートレス設計で
システム指示や、会話のメッセージ履歴はOpenAIのサーバー側で持ってはくれない
SillyTavernをクライアントにする場合
何を送るかを結構自分でコントロール出来るみたい
会話が長くなり、
コンテキストサイズ超えそうになると
収まるように新しいメッセージだけを送るようになってる
点線が表示され、どこから忘れてるか明確に分かる
編集ボタン押せばキャラ設定や過去のメッセージはいつでも改変できてしまう
SillyTavernはキャラ定義や世界設定など
固定の要素を常に送る機能があったり、
自動で要約する拡張機能(Summarize)、
メッセージを検索してコンテキストに追加する拡張機能があるらしい(Chat Vectorization)
まだ拡張機能は自分では使ったこと無いけど
Summarize | docs.ST.app
https://docs.sillytavern.app/extensions/summarize/
Chat Vectorization | docs.ST.app
https://docs.sillytavern.app/extensions/chat-vectorization/