なんJLLM部 避難所 ★9
ASUS Ascent GX10やThinkStation PGXなら
将来的にワンチャンセールやるかも知れないしな
メモリが超絶高騰中の今ではわりと現実的な選択肢よ ローカルLLMでコンテキストウインドウいっぱい確保できるのある？
よくて32Kだわ そういや理論値、設定値ではなく実効コンテクスト数がどのくらいなのかってデータあんまないよね
まとめをつくると何か面白いモデルが見つかるかもね gpt-ossはkvキャッシュの節約が効いてて結構詰め込める
どういう技術が効いてるのかはようわからんけど 例え128kモデルだろうとコンテキスト長を増やすほど馬鹿になる検証あったよね
記憶力と賢さがトレードオフの関係 そもそも覚えてたら正しい文章になるんかって話もあるし
桃太郎で鬼退治したところまでのテキストを読ませたとする
次の展開を書かせて
①お供と旅を続けて他の鬼退治をする(記憶力は低いが展開に無理はない)
②お爺さんお婆さんの家に帰る(記憶力が高く当初の目的を終えたら家に帰ることを重要だとしていて賢くもある)
③大きな桃から生まれた自身の出生の秘密を解き明かそうとする(記憶力は高いが唐突な展開になってる)
みたいな感じになったらどれを正解とするべきか
大抵のモデルは無難な①になるけど、②と③の線引きは難しい その辺はtemperatureで制御するんじゃないの？
頭悪いモデルだと難しいかもしれないけど 