なんJLLM部 避難所 ★10
>>440
なるほどvramに割り当てればいいのか
自分はkobold使ってるけどFlash Attentionとかを使えばいけるかも
サンガツ そういや5090だとGDDR7になったから帯域幅は4090の2倍近いんだっけ
でもグラボに乗り切るサイズならどっちにしろ爆速だからやっぱVRAM量だけ気にしてれば十分なのか まず容量ではあるけどVRAM帯域の差もよく効くから気にしたほうがいい 5090(購入済み)で今新規にPCを組もうと考えてるんだけどメモリは何GB積めば良い？
DDR5諦めてDDR4なら中古で安く買えるからM/B悩む
あとCPUはどの程度買えばいいだろ？LLMって言うほどCPU使わないよね？ 