在 Quest的手部跟踪中,Meta 说明 AI 是 VR 和 AR 的一项基础技术:通过几小时手部体能训练的神经元网络即便应用 Quest 头显的画面质量监控摄像头也能够实现强悍的手部跟踪,针对手部追踪展开了提升。
AI 的预测能力使这得以实现:因为在培训中所获得的先验知识,来源于真实世界的少许键入足够把手清晰地汉语翻译到虚幻世界,包含 VR 3D渲染等在内的详细即时捕获将需要大量输出功率。
近日,Meta 集团旗下 Reality Labs 科研人员展现了一项新科学研究,即根据使用此前收集到的追踪数据练习 AI ,以尽量有效和物理学正确的方法模拟虚似身体健身运动。QuestSim 必须使用来源于头显或两个摇杆的感应器数据,对很有可能所进行的全身运动开展模拟。
Meta 精英团队应用人力产生的感应器数据练习 QuestSim AI。因此,科研人员在 172 人 8 钟头动作捕获视频剪辑中模拟了头显和控制板。这样一来,她们就无需重新开始再次捕捉头显和控制板数据及其身体动作。
动作捕获精彩片段包含 130 分钟徒步、110 分钟跑步、80 min的手势随便沟通交流、90 分钟白版思考和 70 min平衡。应用增强学习对虚拟化技术身所进行的模拟练习经历了大概二天。
训练后,QuestSim 可以用真实的世界的头显和控制板数据来鉴别一个人正在进行的动作。应用 AI 预测分析,QuestSim 甚至可以模拟脚部等身体位置的健身运动,这个部位并没有即时感应器数据,但是其模拟运动是什么生成动作捕获数据集的一部分,由 AI 学习培训。
但是,此项技术性目前还没有极致,化身为的动作模拟仍然存在着一些不够。由于化身为的动作是在没有任何额外非物理学基力下模拟而出的,在尝试挪动人物角色基准点的时候需要一系列特殊骨关节扭矩。
QuestSim 适用不一样体型人,当人物角色持续偏移客户以后,会变得越来越难紧跟动作。因而,模拟人物角色在尝试效仿一些高人气值动作(舞蹈、弹跳)的时候会跌倒,因为它都还没接纳有关扭距掌控的增强学习练习。
Meta 的研究人员还说明,仅来源于头显的感应器数据与 AI 预测分析紧密结合就足够设计出可靠且物理上正确虚拟化技术身。在进一步工作中,Meta 科研人员想将更详尽的人体骨骼和身体样子信息整合到练习中,进而改进化身为运动的多元性。