共有VRAMという表現は正しくなかったようだ。
今物理VRAMのあふれている状況をよく見たら、
共有GPUメモリというものの使用量は増えてなかった。

ただ、VRAMがあふれたら、その分（？）メモリの使用量が増えるのは間違ってないはず。
今100人追加したらメモリ22GB食っていた
これが40人までは1.5GBだったことを考えれば、やはりVRAMがネックなのではないかと思う次第。