どこまで書けばいいのかわからないけど
openwebuiで指示を入力したらpipelinesって機能でpython実行あとはほぼpython上でやる
pipelinesは上手くインストール出来なかったからdockerにインストールした
langchainでLMstudioのLLM読み込み、キャラ設定とかのドキュメントテキスト読み込み
SentenceTransformersでドキュメントからRAG構築して入力文から検索
入力と検索結果をLLMに渡して出力してuiで表示、ここまでが普通のLLMとRAGの実装
その後で入力と出力をLLMに渡して短い要約を生成させる
入力・出力・要約を対応させた状態でpython側で保持、必要なら何かしらの形式で保存
次以降は入力・検索結果・前回の出力・全ての要約を渡して生成
全ての要約と今回の入出力を渡して、要約を考慮しつつ今回の入出力を要約って指示する
これでコンテキスト4kでも12kぐらいは生成出来た、渡す要約の量とか工夫して伸ばしたり、逆に要約の質をあげたりで変わると思う
プロンプトとかの毎回渡すのが2kだと要約の残りが2kぐらい、そうだとしたら6kなら12kの2倍ぐらいは行けそう
要約の分は生成時間増えるけど短くしてるからそこまで負担にはならない感じ、LLMがちゃんと要約すればだけど
最終的には要約の要約とか、過去ログのRAG化は必要になるね