vllmはもう対応しとるみたい
llama.cppは2週間前にようやっとPR立ったみたいやね
まだ未マージ
https://github.com/ggml-org/llama.cpp/pull/17906