主动触觉意味着这样一种设备,它不仅能感受你的身体移动,还能传递力量、阻力、热量、尖锐感或其他触觉。
20世纪70年代的触觉实验涉及了相当庞大和可怕的机器人武器,它们可以通过程序在虚拟世界中传达事件。弗雷德·布鲁克斯曾在教堂山研究过这些大铁家伙的样件。它们通常被固定在天花板上,就像伊凡·苏泽兰早期的显示设备一样。
机器人的手臂是活跃的,它可以传达虚拟障碍物的存在。你移动手臂,手臂就会移动光标或虚拟工具,甚至是化身的手。当手的虚拟扩展遇到虚拟桌面等障碍时,机器人将拒绝通过。这种感觉就像是你真的碰到了一个平面一样,而不是推断的或通感的感觉。你的大脑将机器人的触觉提示与你所看到的桌子的计算机图形图像交织在一起,只要你心里不抗拒,就会体验到桌子的实际存在感。
如果触觉小装置正常工作,那么,当你尝试坐上一个虚拟的豆袋椅时,你会有一种柔软的、易碎的感觉,而不是桌面那种又硬又脆的感觉。同样,如果你拿起一个虚拟的砝码,机器人手臂可以向下拉你真正的手,以此模拟重力。
这就是所谓的力反馈。我已经尽量将它解释得比较简单了。正如VR中的视觉一样,力反馈在减少延迟和提高准确性方面仍面临着巨大的挑战,但这只是问题的开始。人们必须弄清楚如何锚定机器人,关键的一点是,即使被编写得再愚蠢,这个装置也应该避免伤害到你。
力反馈的感觉令人着迷,因为它调动了你的整个身体。当你往下按桌面时,无论是真实的还是虚拟的,你的整个身体都能感受得到。如果你是站立的,你的整个身体框架会进行调整,以感觉并适应桌子抵抗你的现实。如果你是坐着的,你的整个手臂和背部会进行调整。你会感觉到身体的姿势,并能感觉到通过“本体感受”的触觉体验和通过你按压的局部区域的触觉感受影响姿势的压力。
力反馈是VR在商业领域多年来一直存在的一个分支。本书是一本个人化的书,不是对整个领域的描述,因此,我不会提到每个人,我只会提到我最喜欢的力反馈研究人员——斯坦福大学的肯·索尔兹伯里(Ken Salisbury)。他联合发明的“幻影”设备,多年来一直都是VR系统中常见的组成部分。“幻影”是一个桌面友好的可爱的机器人手臂,单凭一只手就可以操作一个虚拟仪器。
这些研究方向的力反馈设备通常被应用于医学。你可以假设一个笔状的延伸物是一个真实设备的手柄,如手术刀的刀柄。这正是手术模拟器所实现的内容。
一名外科医生曾让我在自己的视网膜上进行一部分激光手术,我帮助他设计了手术仪器。当然,这样做完全违反相关规定,所以我不会提到他的名字。
力反馈设备虽然很棒,但也有明显的局限性。首先,它们必须是锚定的,虽然使用起来没有问题,但是很难移动。所以,人们想象将力反馈设备固定在机器人上,让机器人暗中和你保持一致,在需要时随时移动,对你的手部动作做出响应。或者,让整个地板随时滚动,以此保证机器人位置正确。两种方法我们都试过了,都不是很容易。
不管怎样,肯和我以及其他一些人,包括亨利·富克斯(Henry Fuchs),曾经将之称为“管家策略”。
以下是有关“管家策略”的工作方式的更多细节。试想,你处在一个虚拟世界中,你想把自己的手拍在一个虚拟的桌面上。现在,假设有一个周到的机器人在附近奔忙。(当然,你其实没有看到机器人,你看到的只是计算机生成的虚拟世界。)这个机器人的一只手臂托着一个托盘,就像一个管家。当你开始把手向下拍时,机器人计算到你应该会击打那个虚拟的桌面,于是,它及时出现,把真实的托盘对准虚拟的桌面,让你感觉好像那个虚拟桌面一直在那里。
请先不要考虑安全问题,我们只是在做一个思想实验……
如果你在管家的托盘表面滑动手指,很快就会到达边缘,因为这个托盘必须足够小,才能避免它在移动的时候撞到你……但桌子可能很大。所以,管家机器人大概不得不移动托盘,保证你的手始终在托盘上面,这样,这个托盘表面感觉起来比实际的要大……当移动手指的时候,你感觉不到托盘表面在你的手指下面移动。
这把我们带入了触觉的另一方面,即触感。这种感觉来自皮肤中的传感细胞。
触感反馈令人惊讶,因为它实际上是一个完全不同的感官生态系统。你的皮肤里有很多不同类型的传感单元,有些感受热量,有些感受尖锐,有些感受柔软。它们往往只能感受这些质感变化的变体,不能感受这些质感本身。
当你用手指触摸物体时,某些传感单元对质地很敏感。好吧,深吸一口气,请注意:为了保证这些质地细胞获得它们期望的感觉,管家机器人提供的托盘必须有一个表面涂层,可以在任意方向上滚动,从而在托盘移动时模拟静止的感觉,这样,托盘就可以模拟比自己更大的表面。我知道,可能很难通过字面描述直观地想象或理解这个机制。即使是专业的VR研究人员也有可能陷入困境,试图借助我们不得不构建的由内向外的小装置保持清醒。
如果现在你的手指要触摸一个茶壶,甚至是鸡肉,那该怎么办?一个茶壶有曲面,所以机器人必须提供符合这种曲线的地方让人触摸。怎么才能办到呢?
大自然给了我们线索。有些动物可以相当显著地改变形状,比如拟态章鱼。因此,我和肯一起研究了模拟拟态章鱼的机器人。这将是一个可以安静迅速地变成无数形状的机器人。
在你要触摸茶壶的时候,它就会变成茶壶的形状。你的大脑就会相信,茶壶就在那里。
某些厉害的头足类动物可以通过变化纹路来呈现不同的质地作为伪装。我们开始寻找可以实现这种高级技巧的实验性人造材料。硬金属相对容易模拟,但某种材料可以扭曲自己,让自己摸起来像鸡一样吗?像羽毛吗?像一切吗?也许有一天可以吧。
你会看到,关于主动触觉大致方案的所有组成部分,现在至少是可以想象的。我们曾经有一个长期的计划,那就是制作一个“章鱼管家机器人”,提供多种触觉反馈,让你尽情想象,就像我们现在已经在VR视觉方面实现的那样。
但是这很纠结。我们谁也没有耐心真正完成这一整个计划,不过我提出了一个超级简单的版本。
主动触觉,也就是触觉反作用到你自己的身上,它的主要问题就是偏离了一般性。你可以通过“幻影”这样的设计来模拟拿着手术刀的感觉,但是你甚至很难想象出任何设备,能预测各种虚拟世界的力量和感觉,这些虚拟世界在你希望的任何地方运行。
普遍性是VR核心思想的一部分。
第17个VR定义:与飞行或外科手术模拟器等专用模拟器相对的通用模拟器。
我一直在全面地讨论经典VR中的触觉。在混合现实的变体中,你仍然可以看到、听到、感受到真实的世界,并看到或听到加入其中的虚拟的东西,这和经典VR的情况是不同的。在混合现实中,软件可以在环境中找到物理上的可供性,以此作为触觉反馈的即兴支持。例如,你可以在真实桌面的边缘放置一个虚拟滑块,在虚拟滑块上输入数值比在空中移动手更容易。这种情况下,你可以稳定、准确地调整滑块,并避免手臂疲劳的问题。[2]
让我们回到经典VR中。很不幸,主动触觉设备要求VR专门用于那些涉及特定手部工具的用途。我所描述的那些主动触觉小装置也往往使VR活动性不强,因为这些小装置必须像起重机一样固定在物理世界中。由于这些以及其他种种原因,主动触觉设备经常将VR限制在专门的应用程序中,但这样,它就不再是真正的VR了。
被动触觉设备就没有这个困扰。