LLMじゃなくて画像生成(SD)のほうだけどRunpodでA100 80gb使ったことある
24時間ぐらい回すぐらいなら5000円くらいで使えるので個人でもわりとイケる
が、ワイ的な問題としてはSDは実質的にsd-scriptsというリポジトリのが学習環境の定番になってるんだがLLMの定番がわからん点や
karakuriはmegatoron deepspeedなるものを使ったということはわかる