动作捕捉方案一览
不论在自家还是在专业动捕工作室,Warudo 自有妙计帮助您。目前 Warudo 支持以下动捕设备:
摄像头
使用本软件自带的 MediaPipe 或者 OpenSeeFace 功能即可进行动作捕捉。
iPhone
在iPhone上安装 iFacialMocap / FaceMotion3D 或 RhyLive 软件即可使用
[SteamVR] (./steamvr)
Leap Motion 控制器
索尼 Mocopi
Rokoko
Xsens MVN
Virdyn(虚拟动力) Studio (VDMocapStudio)
诺亦腾 Axis
StretchSense Glove
支持VMC protocol的第三方软件, 例如 VSeeFace, VirtualMotionCapture
付费(赞助性质)版本的 VirtualMotionCapture 可支持VR动捕。
Warudo Pro 可以额外支持以下动捕系统:
任何兼容 Autodesk MotionBuilder 软件的光学动捕系统,例如 Vicon, OptiTrack
OptiTrack Motive
青瞳 Avatar
我应该使用哪种动捕系统?
如果您是初次进行3D直播的话,我们建议您先使用 Warudo 内置的 MediaPipe 来完成全部动捕,只需要您拥有一个电脑摄像头便可完成全部流程。如果您使用 iPhone,我们推荐您使用 iFacialMocap 来代替 MediaPipe 进行更高精度的面部动捕,这样也可以降低您电脑的动捕负载。
如果您想要提高您的动捕质量,我们有以下建议:
使用 iPhone 上的 iFacialMocap 应用进行面部动捕,这是目前最好的家用面部动捕方案。如果您没有 iPhone,请考虑购买一台二手 iPhone,只要它支持 Face ID 即可使用此应用。
提示为了更好的捕捉效果,我们推荐您使用 iPhone 12 或更新的 iPhone 型号(iPhone mini 也可以),较早期的 iPhone 型号可能会影响捕捉效果。
如果您对 MediaPipe 的手部捕捉感到不满意,请您考虑使用 Leap Motion 控制器 进行手部动捕。您可以使用一个颈挂以让它能够追踪手部动作。
如果您需要全身动捕方案,您可以考虑使用 索尼 Mocopi或者 VR trackers。如果您有足够预算,您也可以考虑购买动捕服装,例如 Virdyn(虚拟动力) VDSuit, 诺亦腾 Perception Neuron, Rokoko Smartsuit Pro, 或者 Xsens MVN Link。您也可以使用 StretchSense gloves 为其增加手部动捕功能。
如果您需要更专业的解决方案,您也可以使用光学捕捉系统,常见的方案有 Vicon, OptiTrack和 青瞳。
初始设置
在 Warudo 中有两种方法进行动捕初始设置。第一种推荐的方法是使用开播助手一步一步的进行。只需点击 Basic Setup → Get Started 开始开播流程,然后按指示做即可。
在开播助手组件中设置动作捕捉
在开播流程完毕后,您可以使用相关的动捕组件来客制化您的动捕效果。比如说,如果您正在使用 iFacialMocap,您可能会注意到 Warudo 会在您移动头部时增加一些躯干动作。如果您不需要,可以在 iFacialMocap Receiver 组件中将 Body Movement Intensity 设置为0.
在 iFacialMocap 中调整 Body Movement Intensity
另一种设置动捕的方式是使用 Character → Setup Motion Capture,这样能让您直接设置面部和身体的动捕。然而,一些开播流程中的检察环节会被跳过。
在角色模块中设置动捕
这个方法在使用多个面部/身体动捕时非常方便,因为开播助手每进行一次新的开播时都会删除已有的动捕设置。
不论您使用哪种方法,Warudo 都会在您的界面上生成对应的蓝图。比如说如果您使用 iFacialMocap 进行面部动捕,使用 MediaPipe 进行身体动捕,您会看到两张蓝图:Face Tracking - iFacialMocap 以及 Pose Tracking - MediaPipe,您可以编辑这些蓝图来定制化您的动捕效果。
注意在几乎所有情况下您都不应该手工创建一个动捕模块(例如点击 Add Asset 然后选择一个动捕模块,例如 iFacialMocap Receiver)这是因为动捕模块本身只能捕捉动作并输出捕捉结果,但它必须要使用蓝图才能与您想要使用的直播模型相关联。开播助手和 Setup Motion Capture 两种模块都能够自动为您创建需要的蓝图。
常见问题
动啊模型,为什么不动!
如果您正在使用一个需要外部应用程序的动捕设备(如 iFacialMocap),请确保该应用正在运行并在将动捕数据传输给Warudo。并且您需要检查您电脑的防火墙设置以防其阻止Warudo接收动捕数据;您可能需要暂时停用防火墙或者将 Warudo 列入白名单。
有些动捕接收器有 Port(端口) 选项。请确保端口数字与第三方软件中的端口号码对应。
我的模型动作太跳跃/太僵硬了。
请在动捕蓝图(例如 Face Tracking - iFacialMocap)中找到 Smooth Rotation List / Smooth Position List / Smooth Transform / Smooth BlendShape List 选项。增加 Smooth Time 可以让动捕轨迹更平滑,反之可以让模型响应更迅速。
贡献者 Edit on Github作者
HakuyaTira翻译者
MISSINGNO上次更新于 2025.02.27