llama.cppはすでに動作するレベルのPRが出てて(まだ未マージだけど)
https://github.com/ggml-org/llama.cpp/pull/18058
GGUFもunslothが作成済みで
https://huggingface.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF

nvidia随分と手回しがええな