现实版头号玩家,在VR中实现高精度手部运动跟踪

现实版头号玩家,在VR中实现高精度手部运动跟踪

近年来,虚拟手在 VR 游戏等领域得到了广泛的应用,开发者们不断探索用逼真的虚拟手实现基于手势识别的交互运动,但想要让用户充分感受真实运动的逼真感还存在许多技术难题。

当前,在虚拟/增强现实(VR/AR)领域,大多数追踪手部动作的最先进技术缺乏足够的准确性。

那些依赖于视觉检测的跟踪设备在黑暗环境中或有障碍物阻挡视线的情况下会无法工作,而那些依赖于基于速度和力计算位置的惯性测量单元(IMU)更是容易受到电磁干扰。同样,一些由软传感器组成的设备也不能总是区分出手何时在做动作、何时触摸会导致物体变形。

近日,来自韩国首尔大学、美国斯坦福大学和三星电子的科研团队,就通过紧密耦合的方式将视觉传感器和 IMU 融合,克服了这些限制并设计出了一个新的视觉惯性骨架跟踪(VIST)框架。


视频|3D 无人机群控制。用户可以通过简单地推动无人机群或快速定义 3D 虚拟墙来有效地控制复杂的 3D 群体行为,以避开危险区域,这些操作很难依靠传统的 2D 平板电脑界实现。(来源:该论文)

据论文描述,该框架由一个配备传感器的手套和头戴式摄像机组成,是一种准确、经济、便携、甚至可清洗的跟踪系统,能够结合视觉和力的测量准确跟踪人体手和手指的运动,准确跟踪一些在现实环境中受障碍物影响而难以检测的运动。此外,研究人员也展示了这一新跟踪系统应用于 VR、假肢,户外无人机群等各个领域的潜力。

一种十分友好的人机交互

人类可以很轻松地使用双手完成一些运动控制,如果可以将人体手部的灵活性复制到 VR/AR 场景中,例如通过拟人化机器手的触觉反馈来完成复杂的远程操纵任务,将显著提高人机交互(HRI)应用的效率、直观性和丰富性。

实时交互性是指用户对模拟环境中物体的可操作程度和从环境得到反馈的自然程度。交互性的产生,主要借助于 VR 系统中的特殊硬件设备(如数据手套、力反馈装置等),使用户能以自然的方式产生与在真实世界中一样的感觉。VR 系统比较强调人与虚拟世界进行自然的交互,交互性的另一个方面主要表现了交互的实时性。

在 VR/AR 和人机交互的用户体验中,对手部(包括手指)的追踪是一项关键技术。目前用于解决手部追踪问题的方法主要有以下 3 种:

  • 基于视觉的手部追踪。使用相机来追踪没有标记的手部运动,同时利用大型图像数据集训练的机器学习技术,但该方法存在无法规避遮挡的问题;
  • 基于惯性测量单元(IMU)/罗盘的可穿戴手部追踪。通常使用的传感器包括六轴 IMU(即加速度计和陀螺仪)和罗盘(即磁力计)。这种方法从根本上说容易受到磁场变化或干扰的影响,受铁磁性物体或电子设备干扰严重;
  • 软性可穿戴手部追踪。使用一些软性传感器,检测每个传感器变形产生的信号,将传感器包裹在手的周围,用额外的手部姿势传感器来估计手的配置。这种方法无法区分运动引起的变形和接触引起的变形,使其不适合于用户需要处理物体/工具或佩戴触觉设备的应用。

此外,纯磁跟踪器、外骨骼跟踪等方法均存在一定的技术和应用局限性。为此,研究人员提出了一个视觉惯性骨架跟踪(VIST)系统及其相应算法,用于准确、稳健、经济实惠的手部跟踪,克服了这些手部追踪方法的技术局限。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图|VIST 的系统配置和可能的应用(来源:该论文)

VIST 系统的关键创新之一是,以紧密耦合(TC)的方式融合了视觉和惯性传感器,对于视觉传感器没有检测到的物体,惯性传感器都会作辅助估计,反之亦然:而惯性传感器没有检测到的动作也会由视觉数据作一补充,TC 融合方法使得 VIST 算法在手部追踪上表现出更高的稳健性。VIST 架构的一些重要优势主要为:

  • 与其他最先进的方法相比,由于 TC 视觉-惯性融合和自动校准,跟踪精度更高;
  • 闭塞、视觉复杂/变化的环境和环境照明的稳健性;
  • 对电磁干扰和模糊的机械接触的鲁棒性,从而使得操作物体和佩戴设备成为可能;
  • 方便实时校准/自动校准解剖学/手套运动学参数,并纳入 VIST 算法;
  • 在可清洗方面表现出的坚固性,在手套材料成本方面的可负担性,还可以使用头戴式显示器(HMD)的摄像头和计算,重量较轻,可穿戴性强。

显著提高跟踪精度和用户便利性

在手部追踪系统中,对手部的建模是一个关键步骤。在该研究中,人手被建模为分段关节骨架模型,并选择手背和在日常生活中起关键性作用的三个手指(拇指、食指和中指)作为目标跟踪段。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图|VIST 的建模与流程(来源:该论文)

为了获得目标跟踪段的视觉和惯性信息,研究人员设计了一个传感器手套,手套分两层:带有 7 个 IMU 的手套内层,带有 37 个视觉标记的外手套层 ,视觉标记具有 4 种不同颜色(红色、蓝色、绿色和黄色),手套上还有一个头戴式立体摄像机。同时,研究人员还开发了一种基于滤波的视觉惯性手部跟踪算法,该算法主要包括对视觉信息的提取以及视觉惯性手部运动的估计,通过将 IMU 信息与提取的视觉信息和手部解剖约束融合处理,来估计手部运动。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图 | 未使用视觉和惯性信号融合处理的方法得到的跟踪效果(有许多异常值,检测精度不稳定)

现实版头号玩家,在VR中实现高精度手部运动跟踪

图 | 使用视觉和惯性信号融合处理的方法得到的跟踪效果(利用 IMU 信息进行鲁棒匹配)

视觉信息的提取主要包括对原始图像中的标记检测、左右立体匹配和 IMU 辅助的对应搜索三个过程,在数据融合处理过程中使用 IMU 信息进行手部运动预测,再利用视觉信息进行校正,然后对手部作解剖约束进行校正。由于使用视觉惯性融合对关节段的运动相关状态进行实时校准和自动校准,与其他系统相比,该研究设计的 VIST 系统可以显著提高跟踪精度和用户便利性。

VIST 算法的高鲁棒性

另外,研究人员也定量评估了 VIST 系统在自由运动、对象交互和佩戴指尖皮肤触觉设备(CHD)的情况下的性能和稳健性。

每个实验招募了 15 名参与者,每位参与者被指示坐在一张被 MOCAP 摄像机包围的桌子前,并复制监视器中随机显示的手部配置。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图 | 自由运动跟踪定量评估的测试设置和结果(来源:该论文)

由于 VIST 跟踪利用了视觉信息和手部参数的自动校准,对手部大小的可变性不敏感。研究人员通过实验观察发现,VIST 算法对遮挡具有良好的鲁棒性,即使可见标记相当少,其平均误差也仅略微增加。

研究人员构建了 8 个日常对象的图像数据集,每个对象有 100 张不同手部姿势的图像,以此来定量评估 VIST 系统在对象交互和佩戴指尖皮肤触觉装置上的应用,从而评估其对严重闭塞、磁干扰和机械接触的鲁棒性。以往的研究表明,人类无法检测到 VR 中 50 毫米以下的食指尖跟踪误差,而且人类无法基于本体感觉区分 1.7 度以下的食指关节角度误差。

研究发现,该研究设计的 VIST 系统可能允许用户根据真实的手准确地感知渲染的手,且优于一些最先进的基于视觉的算法对于自由运动的跟踪,该 VIST 算法的平均误差仅为 10.69 mm。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图 | 对视觉复杂背景的定性评价(来源:该论文)

研究发现,VIST 系统在使用手钻、便携风扇、耳机壳、CHDs 等含有铁磁材料或内部电流的设备时,不仅可以保持跟踪稳定性,还可以保持其准确性。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图 | 操作工具时跟踪手势(在工厂中,操作一些工具时的手势跟踪是非常具有挑战性的)

VIST 系统在真实场景中具有强稳健性

研究人员在真实场景中对 VIST 系统进行了一些具有挑战性定性测试,在背景中使用彩色物体(杂志、水果和文具)和一幅画(阿尔勒的卧室),在视觉上与手套标记具有相似的颜色/图案。

研究表明,尽管存在视觉上对抗的物体和背景,该系统仍可以稳健地跟踪手部运动。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图|各种闭塞的定性评估(来源:该论文)

此外,通过 IMU 辅助的对应搜索,可以将标记观察结果与手套上的真实匿名标记进行稳健匹配,同时有效地消除异常值,从而即使在视觉复杂的对象和背景下,也能表现出稳定的跟踪性能。研究人员还在户外对 VIST系统的性能进行了测试。实验表明,VIST系统可以在户外稳健地跟踪手部运动,而这一点对大多数现有的系统来说是相当困难的。

户外实验不仅验证了 VIST 系统在硬件和算法方面的完全可移植性,也验证了它在户外场景的应用中具有可行性。

现实版头号玩家,在VR中实现高精度手部运动跟踪

图 | VIST 系统户外性能测试

通过定量和定性的评估,研究发现 VIST 系统在具有挑战性的真实世界场景中运行稳健且性能高,尤其是 VIST 架构能够与具有手的大小和形状变化的不同物体进行互动。VIST 系统规避了基于视觉的系统的基本问题,在处理闭塞、泛化和缓慢的更新中均具有优越性,克服了IMU/compass-可穿戴系统的漂移或磁干扰问题,通过利用视觉信息与解剖学约束相结合,还克服了软传感器可穿戴系统的未建模接触问题。通过融合视觉和惯性传感器在 TC 融合中的互补性,VIST 系统解决了现有手部跟踪系统的基本约束,这对于正确解决手部跟踪的特殊性至关重要。

现实版头号玩家,在VR中实现高精度手部运动跟踪
(0)
小多多的头像小多多创始人

相关推荐

  • 奶粉开罐多久不能喝了

    奶粉开关一个月以上不能喝,奶粉开罐后的保质期为三个星期到一个月,超过一个月,奶粉就会受潮结块,影响品质,保存奶粉的过程中,要将其放在阴凉通风且干燥的环境中,取用时要将手擦干,避免水分进入奶粉中。奶粉开罐多长时间不能喝1、一个月以上奶粉开罐一

    资讯 2023年5月5日
  • 零零后微信网名大全女生

    1、炮友,你好麽2、爱的天平偏向遗憾3、有料穿什么都性感り4、笑靥如花5、话不投机半句多6、清欢相伴7、酷炸你爹8、杀死喜欢9、追逐亡灵人。10、孤独寡人11、优雅的疯纸12、黎夏13、故事与他™14、ㄖ落Θ余辉

    2024年4月25日
  • 姓欧男孩洋气名字

    1、翰卫2、磊滨3、乐童4、常启5、晟希6、郎睿7、隆洋8、凯颂9、伟平10、熙贝11、文弦12、燃霖13、咏亮14、源彬15、天乐16、岳泽17、金卓18、成希19、云司20、黎宏21、彬清22、

    2024年4月5日
  • 独特的女生名

    1、陌若嫣然2、一纸荒年断念已残3、烟霸4、别笑了你眼泪掉了5、吞掉委屈6、满卷相思7、仇敌8、脱销的爱9、◇◆夜夢追隨10、花仙子的草莓派11、暴走的捡漏王12、╰花泽13、自嘲自闹自疯癫14、花开陌路谁人殇1

    2024年4月29日
  • 魏武风连梦璃小说叫什么 魏武风连梦璃小说全文免费阅读

    魏武风连梦璃是作者甩葱大魔头写的一本小说里面的主角。作者文笔不错,诗词功底丰富,文章结局很意外,千万要看完哦!内容主要讲述这是一个神奇的世界!男生觉醒成为助攻御兽师!女生则觉醒辅助御兽师!他带着记忆重生到几年前,他的辅助绿茶要解约!为了改写命运,他英雄救美,签下了灵魂契约,开局就是九尾银狐。于是,有实力恐怖的巨龙娘,首富之女兔耳娘,她们纷纷开始挥锄头了……

    2024年3月19日
  • 一本好书,犹如一个生命的精华。这句话的意思是什么

    大家好,一本好书,犹如一个生命的精华。这句话的意思是什么相信很多的网友都不是很明白,不过没有关系,接下来就来为大家分享关于一本好书,犹如一个生命的精华。这句话的意思是什么的一些知识点,大家可以关注收藏,免得下次来找不到哦,下面我们开始吧!本

    2023年10月5日
  • 高雅简短的网名男生

    1、佳人如画2、只有亡了心才能忘3、听风念ㄖ亽4、待我如男神5、犹豫6、不帅①じ☆家族7、一点点霸道8、斜月阑9、ō患ō失ōべ10、〆典当灵魂11、·触景伤情12、情人劫13、诺言敌不过时间14、光般少年15、入

    2024年4月29日
  • 简单大气的网名女2023

    1、巴黎此岸°破碎2、酒祝东风3、我无需怜悯4、ぃ麦兜响当当5、蝶无需花恋6、屿岸7、奕秋8、姐专属的范9、橙家菇凉10、功过不抵热血沸汤。11、不再惊动爱情12、爱久暖心13、凹凸萌╮╭14、回忆只能忆。15、

    2024年4月3日
  • 怎么才能快速减肥方法(如何迅速减肥)

    怎么才能快速减肥方法通过不吃药的方式合理的减肥,最快的方式只有合理的饮食和适当的运动。只有坚持严格的饮食和运动,逐渐的把体重慢慢控制下来,才是最安全的。只有这样才能在不伤害身体的情况下,科学、健康的减肥,并且不容易反弹。同时要戒烟限酒、心理

    2023年4月30日
  • 什么是塑形

    【#什么是塑形#】1、形象对于一个人来说非常重要,如果一个人不在意自己的外表就没办法表现你优秀的内在,因为个人形象会给人留下第一印象,非常重要,第一印象更好,才有机会去表现个人其他方面的优点,所以需要管理身材,打造外形外观,让身材变得更完美

    2024年5月13日
  • 四名领诵员是如何被选上的(没错都是千里挑一)

    彭友馨 为了准确表达一句话,到处喊“妈妈” 海淀区中关村第三小学六年级学生彭友馨3岁开始练习舞蹈,目前是学校金帆舞蹈团的团长。挺拔的体态成了她入选领词员的加分项,但因为从未接触过朗…

    2022年5月21日 美文
  • 楚姓男孩名字仙气

    1、敬启2、凯谦3、磊瀚4、振天5、疵逸6、光武7、海佳8、坚炎9、辉城10、逸善11、润怦12、才洋13、祥博14、晨宏15、枫松16、朗梁17、文皓18、信棋19、思丞20、磊江21、六顺22、

    2024年3月3日
  • 怎么提高深度睡眠

    “促进深度睡眠的方法:一枝裂、睡觉前可以做舒缓的活动,例如瑜伽,不仅能够猛滑闭让身体和大脑得到一定的放松,还可以减少大脑受到的刺激,增加睡眠深度,另外,睡觉前参加一些锻炼,能够让身体产生轻微的疲倦让核感,更有助于增加睡眠深度;二、在睡觉前

    2024年5月4日
  • 米菲菲赵潇潇免费结局-软软盛言全文在线阅读

    人气小说《软软盛言》由著名作者软软倾心创作的一本言情类型的小说,小说的主角是米菲菲赵潇潇,文中感情叙述细腻,情节跌宕起伏,却又顺畅自然。下面是简介:她眨巴眨巴眼,有丝不解。“快……快来!她就是赵潇潇的女儿!”“原来这就是赵潇潇精心隐藏的女儿。难怪要藏,长得也太丑了。”“女儿随爸吧,谁叫她为了钱嫁人,难怪她不让女儿参加综艺节目。”“看来她不爱她老公,也不爱她的女儿啊。”泪珠无意识就滚落下来,米菲菲站在那里,也忘了动。自己心里所想的事被别人说出来,竟然是这么的难受,就像一把刀戳进心里去,又搅出来。这时,她两只手分别被两只不同的小手拉住。小软软抿着小嘴唇,很有主意,“我数一二三,我们就从那边跑!”小柚子:“好!”“一、二、三,跑!”…

    美文 2023年7月1日
  • 张玄刘涵儿是啥小说 张玄刘涵儿免费阅读无广告

    张玄刘涵儿是作者龙戈热门小说里面的主角。小说情节很吸引人,是一本罕见的好书,强烈推荐!那么张玄刘涵儿的结局如何呢,我们继续往下看张玄穿越了,从现代穿到了一个接近古代的诡异朝代。张玄看着原主留下的遗产,好在还有一个雕塑店和雕塑手艺给自己,不然活下去都是问题。但是为什么张玄雕的塑像会有功德。

    2023年8月3日

发表回复

登录后才能评论