なんJLLM部避難所 ★9

0876名無しさん＠ピンキー (ﾜｯﾁｮｲ 7f19-k7gA)

2025/11/11(火) 07:18:17.11ID:ze1tTo6B0

512gメモリって100万越えやろ？
それならDGXの2台接続と比較しないとおかしくないか

0877名無しさん＠ピンキー (ﾜｯﾁｮｲ ffdb-7b+o)

2025/11/11(火) 12:59:21.35ID:xmeZyyPe0

実用的なコンテキストウィンドウがデカいローカルLLMが欲しい

0878名無しさん＠ピンキー (ﾜｯﾁｮｲ ff32-RctB)

2025/11/11(火) 13:05:46.35ID:1iJdQ74C0

128kで実用未満だとするならけっこう限られるな

0879名無しさん＠ピンキー (ｽﾌﾟｰﾌﾟ Sd1f-TDZ4)

2025/11/11(火) 13:14:02.31ID:67HKqvcxd

ASUS Ascent GX10やThinkStation PGXなら
将来的にワンチャンセールやるかも知れないしな

メモリが超絶高騰中の今ではわりと現実的な選択肢よ

0880名無しさん＠ピンキー (ﾜｯﾁｮｲ 4358-t3bi)

2025/11/11(火) 16:12:46.12ID:3XWXuw6R0

>>865
このスレでは言ったらあかん事や

0881名無しさん＠ピンキー (ﾜｯﾁｮｲ ffc7-T20X)

2025/11/11(火) 17:13:00.94ID:SqiVBR2v0

ローカルLLMでコンテキストウインドウいっぱい確保できるのある？
よくて32Kだわ

0882名無しさん＠ピンキー (ﾜｯﾁｮｲ b320-iKR1)

2025/11/11(火) 20:07:10.40ID:vm/8wIy30

そういや理論値、設定値ではなく実効コンテクスト数がどのくらいなのかってデータあんまないよね
まとめをつくると何か面白いモデルが見つかるかもね

0883名無しさん＠ピンキー (ﾜｯﾁｮｲ cf1e-i+36)

2025/11/11(火) 20:10:53.76ID:fd6lY8wG0

gpt-ossはkvキャッシュの節約が効いてて結構詰め込める
どういう技術が効いてるのかはようわからんけど