なんJLLM部 避難所 ★9
512gメモリって100万越えやろ?
それならDGXの2台接続と比較しないとおかしくないか 実用的なコンテキストウィンドウがデカいローカルLLMが欲しい ASUS Ascent GX10やThinkStation PGXなら
将来的にワンチャンセールやるかも知れないしな
メモリが超絶高騰中の今ではわりと現実的な選択肢よ ローカルLLMでコンテキストウインドウいっぱい確保できるのある?
よくて32Kだわ そういや理論値、設定値ではなく実効コンテクスト数がどのくらいなのかってデータあんまないよね
まとめをつくると何か面白いモデルが見つかるかもね gpt-ossはkvキャッシュの節約が効いてて結構詰め込める
どういう技術が効いてるのかはようわからんけど