ComfyUIのComfyUI-FLOAT拡張機能の実験中

部分的な歌の口パク:(音量注意)
https://files.catbox.moe/b8glht.mp4
https://files.catbox.moe/jtcqnd.mp4
セリフの口パク:(音量注意)
https://files.catbox.moe/so70n7.mp4
https://files.catbox.moe/i75ngs.mp4

特徴
・うちの低スぺPC(VRAM6G)でもサクサク動く
・顔を中心に512x512に自動クロップ
・日本語の歌でも反応してくれるが、なんか海外風のオーバーアクション?
・黒目のところの描画が怪しくなるケースが多い
・やはりアニメ系の顔は苦手っぽい。ある程度リアルに寄せれば反応する。