0881名無しさん@ピンキー (ワッチョイ ffc7-T20X)2025/11/11(火) 17:13:00.94ID:SqiVBR2v0 ローカルLLMでコンテキストウインドウいっぱい確保できるのある? よくて32Kだわ
0882名無しさん@ピンキー (ワッチョイ b320-iKR1)2025/11/11(火) 20:07:10.40ID:vm/8wIy30 そういや理論値、設定値ではなく実効コンテクスト数がどのくらいなのかってデータあんまないよね まとめをつくると何か面白いモデルが見つかるかもね
0883名無しさん@ピンキー (ワッチョイ cf1e-i+36)2025/11/11(火) 20:10:53.76ID:fd6lY8wG0 gpt-ossはkvキャッシュの節約が効いてて結構詰め込める どういう技術が効いてるのかはようわからんけど