头戴显示器骗过了视觉,手柄却骗不过触觉,是目前很多 VR 设备的尴尬。

如果你是第一次玩 VR 设备,戴上头显看到逼真的影像后,多少会下意识伸手去感受。手伸出去后,却发现可以穿过虚拟物体,视觉和触觉产生了割裂,沉浸感顿时被打破。

(GIF 图来自 Giphy)
(GIF 图来自 Giphy)
(GIF 图来自 Giphy)
(GIF 图来自 Giphy)
(在 VR 里你总会想摸点啥,但其实啥也摸不着,GIF 图来自 Giphy)
(在 VR 里你总会想摸点啥,但其实啥也摸不着,GIF 图来自 Giphy)

通常,拿上带位置追踪功能的手柄后,你才可以和虚拟物体进行交互。因为其成熟的技术和性价比,手柄是 VR 设备现在主流的交互方式。然而,手柄并不是最简单、直觉和自然的——多少次你想伸手去抓一个物体,却需要大脑把这个动作转码成了“按下手柄上的一个按键”。

(HTC Vive 的手柄)
(HTC Vive 的手柄)

在一个沉浸的虚拟环境中,不用经过大脑的动作,才是最符合自然行为的交互方式。

深圳一家初创企业 Dexta Robotics 正在往这个方向发展。创立于 2014 年的 Dexta Robotics(岱仕科技),将机器人技术和动作捕捉技术相结合,打造了一款便携的、无线的力反馈手套 Dexmo。

Dexmo 可以做到什么?

2019 年 6 月,在经过两年多开发者版本的测试、改进后,力反馈手套 Dexmo 企业版正式发售。

触觉可以分为动觉和触觉,前者让人感受到物体的形状、重量和硬度,后者让人感受到物体的纹理、粗糙度和温度。 虽然 Dexmo 的名字是力反馈手套,但它的触觉反馈版本也可以提供一部分触觉。

从外形上看,Dexmo 像科幻电影里怪兽的爪子。这些个“爪子”其实是机械外骨骼,承担了收集手指运动数据、提供力反馈的功能。

机械外骨骼是一种穿在人身上的设备,可以给予人体额外的动力或能力,比如让腿残疾的人自己上楼。Dexmo 将机械外骨骼这一概念应用到了力反馈手套上。

整个设备的穿戴很简单,主体结构(主控制器)用一条大绑带固定在掌心上,手指结构通过魔术贴(力反馈版本)或指套(触觉反馈版本)附着在对应指尖的上。指尖运动时,机械外骨骼会随着一起移动。

比如,当你佩戴着 Dexmo 时,伸手去抓一个刚性物体(比如石头),会感受到机械外骨骼的牵引力,让手正好停留在虚拟石头的表面,感受到石头的形状和硬度。

(抓刚性物体)
(抓刚性物体)

你用手去握捏一只橡皮鸡,不仅能摸到它的形状,还可以感受到捏它后的反弹力。

(捏橡皮鸡)
(捏橡皮鸡)

你把手指放在水龙头下面,能感受到水滴向下的冲击力。

(感知水滴)
(感知水滴)

Dexmo 的触觉反馈版本还能模拟一定程度上的触觉,比如摸玻璃、木头和砂纸,能感受到光滑、粗糙和颗粒三种质地。

(触摸玻璃,木头,砂纸)
(触摸玻璃,木头,砂纸)

Dexmo 是怎么做到的?

要达到以上所述效果,Dexmo 需要首先捕捉到手部运动的数据,然后根据数据来模拟力的大小和方向,这两部分分别对应的技术模块是“手部动作捕捉”和“力反馈”。

11 个动作捕捉传感器分别集成在 Dexmo 旋转关节和力反馈单元(每个手指一个)里。这意味着,Dexmo 能够捕捉 11 个自由度的动作,包括大拇指的 3 个自由度(旋转、展开和弯曲)和其余四指各 2 个自由度(展开和弯曲)。

(外骨骼的机械设计:42 手指固定装置、21 驱动机构、1 底座、511 无线通信模块)
(外骨骼的机械设计:42 手指固定装置、21 驱动机构、1 底座、511 无线通信模块)

用户戴上 Dexmo 手套开始运动后,传感器会将捕捉到的运动数据传输到上位计算机。计算机将数据输入给虚拟空间里的 3D 手部模型,让模型和真实手部保持同步运动。

也就是说,Dexmo 为用户在当下进入的虚拟空间里,创建了一对虚拟手。用户在真实世界所做的手部运动,全部会映射到虚拟手上。

(手部动作捕捉)
(手部动作捕捉)

一旦虚拟手和虚拟物体发生碰撞,计算机会算出实际上应该生成的力(包括矢量方向和大小),然后对力反馈单元下达指令。这时,力反馈单元里的电机会计算出力的大小,然后输出大小可变的力反馈。

(力反馈单元的机械设计:71 旋转传感器、211 电机、52 处理器、22连杆)
(力反馈单元的机械设计:71 旋转传感器、211 电机、52 处理器、22连杆)

简言之,就是外骨骼结构通过施加反向的力,把手指固定住。就好像现实世界中,手指触摸到一个实体,会固定在其表面。

(力反馈)
(力反馈)

值得一提的是,当用户触摸的时柔性物体,比如捏橡皮鸡,力反馈单元刚开始输出的力比较小,容易挤压。随着物体变形,力反馈单元输出的力会变大,变得难以挤压,直至在某一个位置停住用户的手。

Dexta Robotics CEO 谷逍驰告诉 PingWest 品玩,类似的现有产品里,Dexmo 是唯一一个可以做到柔性反馈的。

(柔性力反馈)
(柔性力反馈)

除了力反馈,Dexmo 还可以提供一定程度的触觉反馈,也就是上文所说的,摸玻璃、木头和砂纸能感受到光滑、粗糙和颗粒三种质地。谷逍驰表示,Dexmo 上的触觉反馈类似 iPhone 上的虚拟按键,通过线性振动马达输出不同的振动波形来模拟不同表面的触感。目前 Dexmo 具有五种基本波形,通过排列组合,可以获得不同的触感。

Dexmo 可以被用在什么地方?

动作捕捉、力反馈和触觉反馈这些特性,让 Dexmo 具备了模拟逼真的动觉和触觉的能力,可以帮助用户完成手柄难以做到的精细动作。

“我们了解到,现在 B 端一些客户觉得只有手柄的 VR 设备就是玩具,他们需要能够完成精细动作的交互工具。”谷逍驰告诉 PingWest 品玩。

Dexmo 企业版已经正式开始量产发售,汽车制造是 Dexmo 应用的一大领域,奥迪、福特、丰田、本田等车企都是其客户。Dexta Robotics 告诉 PingWest 品玩,有车企正在使用 Dexmo 培训新入职工学习安装线束,让工人的动作准确地反映在虚拟训练中,灵活使用手指学习操作步骤,并及时得到评估,确保工人在正式上产线前达到规范要求。

除了工人培训,Dexmo 还能被应用在改进车辆的设计流程。汽车设计师可以在 VR 里实时触摸到新设计并检测创意,而不再需要制作昂贵耗时的物理原型。

汽车企业之外,Dexmo 还被航天航空、大学、医院等机构采用。比如,机舱紧急逃生培训、可视化操作、组装机械。

(机舱紧急逃生培训)
(机舱紧急逃生培训)
(可视化操作)
(可视化操作)
(用 Dexmo 在虚拟环境力练习组装无人机)
(用 Dexmo 在虚拟环境力练习组装无人机)

为了方便 B 端客户使用,Dexmo 提供了 SDK(应用程序接口),支持 Unity 和 UE4 平台,且具有手部交互物理引擎。 企业和开发人员可以通过交互模块自行构建应用程序。

除了 B 端的客户,PingWest 品玩还独家获知,三大 VR 头戴设备厂商(HTC、Oculus、Sony)其中两家跟 Dexta Robotics 有多次接触,未来有望看到 Dexmo 被整合进去。或许过不了多久,Dexmo 不仅可以在 B 端专业操作场景发挥作用,还会被用于 VR 打麻将这样的消遣游戏中。