vllmは秒間何十アクセスあるような業務向けのライブラリやで
1個の推論流すだけなら特に早いというわけではないけど、
複数の推論を同時に流すというときにこのスレで使われているようなライブラリとは
段違いの速度が出るはずや