巨大モデル使えば性能良くなるんでは？って思って
ThunderComputeでVRAM80GBのNVIDIA A100XL借りて
初めてOllama動かしてみた
VCPUs: 4, Memory: 32GB, Cost/Hour: $0.82
20ドルまでは無料らしいので偶に実験する程度なら安く使えそう
これのQ5_0量子化のやつ
無規制っぽくて、文章の整合性はともかく脱獄のような事をしなくても申し訳してこないのは良いな
https://huggingface.co/mmnga/c4ai-command-r-plus-gguf
https://www.thundercompute.com/about
Every account also receives $20 in free credit each month, so many users run small experiments at zero cost.