なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured 512gメモリって100万越えやろ？
それならDGXの2台接続と比較しないとおかしくないか 実用的なコンテキストウィンドウがデカいローカルLLMが欲しい ASUS Ascent GX10やThinkStation PGXなら
将来的にワンチャンセールやるかも知れないしな
メモリが超絶高騰中の今ではわりと現実的な選択肢よ ローカルLLMでコンテキストウインドウいっぱい確保できるのある？
よくて32Kだわ そういや理論値、設定値ではなく実効コンテクスト数がどのくらいなのかってデータあんまないよね
まとめをつくると何か面白いモデルが見つかるかもね gpt-ossはkvキャッシュの節約が効いてて結構詰め込める
どういう技術が効いてるのかはようわからんけど 例え128kモデルだろうとコンテキスト長を増やすほど馬鹿になる検証あったよね
記憶力と賢さがトレードオフの関係 そもそも覚えてたら正しい文章になるんかって話もあるし
桃太郎で鬼退治したところまでのテキストを読ませたとする
次の展開を書かせて
①お供と旅を続けて他の鬼退治をする(記憶力は低いが展開に無理はない)
②お爺さんお婆さんの家に帰る(記憶力が高く当初の目的を終えたら家に帰ることを重要だとしていて賢くもある)
③大きな桃から生まれた自身の出生の秘密を解き明かそうとする(記憶力は高いが唐突な展開になってる)
みたいな感じになったらどれを正解とするべきか
大抵のモデルは無難な①になるけど、②と③の線引きは難しい その辺はtemperatureで制御するんじゃないの？
頭悪いモデルだと難しいかもしれないけど steamの新しい機械はAIで使えないのかな、
まー20～30万のGPUを使ってるここら辺の人からみたらゴミなんだろうけど VRAM 8GBとメインメモリ16GBなんでしょ？
ゲーム用ならある程度使えるけどAI関連だともう完全に足切りくらってるスペック
AI画像生成ですらキツい 