知らんかった
chatGPTが先走っちゃったから意図的なリークもあるかもだけど、そんなことするなら利用体系安くして提供すりゃいいと思いました
あとそんなの手に入れてもそのへんのグラボじゃ動かないだろう…と思ったけど
They soon found that one of the biggest issues with the model was its sheer size, with the smallest model requiring close to 30 GB of GPU memory to run.
However, by running it through the bitsandbytes library for floating point optimisation, they were able to get the model running on a single NVIDIA RTX 3060.
Furthermore, a researcher on GitHub was even able to run the 7B version of the LLM on a Ryzen 7900X CPU, inferring several words a second.
動くんかい…これまでコンシューマーレベルのGPUじゃ動かないって言われてたのってもしかして恣意的な情報操作っていうか方便？