ChatGPTに聞いて用語についてある程度理解したからメモ。他の赤ちゃんに役立ったら良いけど間違ってたらすまんこ。

コンテキストサイズ:モデルが一度に処理できるトークン数(≒文章の長さ) VRAMに影響:4070tisの場合4096~8192が推奨 (長期的に話したときの記憶力にも影響?)
レイヤー数:推論の精度や速度に影響。LLMモデルは複数レイヤーで構成されているが、そののうち何層目までをVRAMに乗せるかを決める。指定した数の層までがVRAMに乗せられ、それ以外はCPUやRAMに乗せられる。
コンテキストサイズを上げるとVRAMに乗せられるレイヤー数は減る。(同環境だと コンテキスト4096なら25~30層、 8192なら15~20層推奨)