【Antigravity】AIエージェントでオナニー ★5
ファイル出力のほうが食いそうだけどなぁ 常時参照だし
明確な根拠を示せと言われると厳しいが実感でもそんな感じ >>529
夢はあるな
数年後にはGPUとかNPU積んだ小型ロボットが当たり前になっていくかも >>532
常時参照かどうかは使い方次第だろう
基本今開かれてるファイルは参照するけど開かれてないファイルやフォルダまでは見に行かないぞ
自分でこのファイル参照してって指示しないと 一度ローカルのLLMモデルにKolboldcpp経由でメッセージ投げて応答受け取ってってのの中身を見ると
システムプロンプトとかを含むやりとりが全部見えるからイメージを掴みやすいんだよね
例えばチャットの応答で1000文字の出力があったとしてそれをチャットで受け取ったら特にオーバーヘッドもないし1000文字分のquota？の消費をしてたとして
ファイルに書き出そうとすると出力の1000文字に加えて書き込みの命令だの何だのやれ失敗しただので平均1200文字位の消費になってるかも知れない
これはファイル出力の方がまず間違いなく余分にオーバーヘッドは発生する
ただこの上乗せ分が目くじらたてるほどなのかというと正直どうでも良いと自分は思ってる
利便性や安全性がまさるなら全然気にせずに使っていい消費だと 何でかって言うと結局一番重いのはAIちゃんの頭ん中にどれだけ詰め込んで
どれだけ考えさせて葛藤させて答えを引き出すためにどれだけ演算させたかって時間と電力の消費量がquotaの消費量に直結する部分だから
脱獄プロンプトなり設定なりこれまでの物語なりを全部頭の中に展開した上で返答を考えてねっていう部分が一番重くて
前にこう言ったよね何で忘れたの一言一句忘れずに考慮して物語を書いてよって要求してるのが一番AIちゃんを虐待してる部分なわけで
でこれはファイルで読もうが何で書こうが正直大して変わらない…はず
結局頭に詰め込んどくしかない部分だから 例えば10万文字の今までの歴史を頭に詰めた上で続きを考える労力と比べると出来上がった1000文字分の作文を封筒に入れて相手に送りつける労力なんて微々たるもの…なはず
最新の要約だけで再開してってやるとその要約からはこぼれ落ちたちょっと良かったと思ってたエピソードとかが引き継がれないかもしれないし
それをユーザーが思い出して欲しいというなら何らかの形で詰め込み直さないといけないからそこは品質との消費とのトレードオフだよね
ファイル形式で定期的に新しいセッションを切り直して記録としてはあるけど読み込ませずに要約だけで話を再開するってのは
記憶の整理術であり、何が大事かをユーザー側から明示的に指示しやすいっていう利点はあるよね…と思ってる >>526
マジ？でもそっちの方が仕組みとしてはしっくりくるな
ファイル書き出しならそれ以降続きを別ファイルに書かせても作成済みのファイルを参照させないなら読み込みにトークンを消費しない
チャットのトークンは自動で読み込んでいくから消費が激しい 