下面我会介绍VR头戴设备设计中一个尚未解决的问题作为本章的总结。VR仍然是一门年轻的学科,仍然充满神秘。
我们在VPL构建了一些独一无二的实验性眼机,包括朝内的面向脸部的传感器。为什么呢?请记住,在VR中,测量比显示更为重要,这样,不管在任何时候,你都应该测量关于一个人的更多信息,即使不能马上知道最终目的,最后你往往会发现它的重要性。
也许有朝一日,程序员会利用面部表情更细微地调整算法设计。毕竟,面部是有表现力的。
这是一个长远的目标,但直接的动机是让VR能够呈现有表情的化身。当真实的你笑了,你的化身也会微笑。
在20世纪80年代,要将这种能力纳入产品中,是不大可能的。光学传感器还不够好。我们采用微型接触滚轮来测量皮肤的移动情况。(在那个时代,我们用的鼠标都拥有在桌面上移动的小小的滚动球,而不是LED。)
近年来,传感器并不是问题所在。通过精心挑选的内置光学传感器,不仅可以测量目光所及的位置,还能测量瞳孔的变化。不仅能测量变化的眼皮形状,还能测量眼睛周围皮肤的透明度。不仅能测量嘴巴的形状,还能测量脸红。相机已经足够小巧、精确、便宜且低能耗了。
我很喜欢玩面部追踪。我最喜欢的一次经历就是受邀在NAMM会议上做主题演讲,这个会议是美国乐器行业的大型展会。我用一组有趣的脸部表情触发了一组声音,并一直练习,直到我可以通过反复而疯狂的面部抽搐获得稳定的节奏。这是我在舞台上做过的最好笑的事。为什么在流行文化中这不是一件大事呢?它在嘻哈音乐里会很棒。这又是一个谜。
无论如何,我们现在可以测量脸部正在做什么了,但当我们把适当的传感器放在VR头戴设备中,用以驱动化身的脸部时,可能不会产生很有吸引力的结果。我们陷入了著名的“恐怖谷”中。
人类的大脑能以很高的精细度观察人脸,因此,如果稍有偏离,这种奇怪感很快就会让人毛骨悚然,这真是令人震惊。之所以被称为“恐怖谷”,是因为如果情况真的变得很怪,比如你有一个龙虾化身,你的大脑也不会太介意。
当大脑有充分的理由期待与世界和谐相处时,就不能违背这种信任。当一个化身很奇怪但很有表现力时,大脑就有点迷惑了。当一个化身稍有偏离时,大脑就会感到恐慌。
你可能会认为,抽搐音乐或龙虾脸将足以驱动人们开发商业VR头戴设备的面部感应器,但你错了。测试人员和焦点小组总是希望至少尝试下人性化的设计,之后,每个人都会因为恐怖谷而感到不安。当精于计算的人抱怨产品成本太高时,面部感应器就不可能走到最后一步。我已经看到这个剧情在不同的公司反复上演了。
如果我们至少能在VR头戴设备和化身中跨过恐怖谷,就可能会收获巨大的回报。这可能会使远程协作效果更好,也可能会减少人类的碳足迹。便利的交通将会议、课堂、喜剧俱乐部等聚集在一起,但燃烧了大量的碳,并造成严重拥堵。
通过相机获得的直接联系,比如我们熟悉的Skype体验可以做很多事情,但依旧不能满足我们的需求。还记得我之前提到人们之间存在通过头部运动传播的潜意识信息通道吗?眼部运动、肤色、微表情变化,肯定还有我们尚未意识到的其他因素,都会被添加进去。麻省理工学院的阿莱克斯·彭特兰(Alex Pentland)把这些因素称为“诚实的信号”,没有它们,我们在与彼此相处时,就不会那么开放而轻松,特别是在陌生人之间。
人们戴着太阳镜,试图隐藏这些信号,但这不起作用,因为太阳镜不会隐藏头部运动和其他信号通道。佩戴者可以假装信号是隐藏的,这能够提升自信,就像化妆一样。这很好,但如果信号真的被阻断了,人们就无法与彼此相处了。
要诚实地看待诚实信号,人们就必须在3D中准确地体验对方。例如,你需要能够分辨眼睛接触的位置。即使人们不在同一个房间,一切也必须是真实的、可以测量的。(我并不是说人们总会有目光接触,这因文化而异,但人们如果没有目光接触,这通常也会表示一定的意义。)
它不只是目光接触。观察角度对感知肤色、潜意识下的头部运动、身体语言,甚至语调都是至关重要的。这是值得用一整本书来讨论的另一个话题。
使用VR头戴设备查看正在由一系列3D立体摄像机实时扫描的对话者时,这种体验非常棒。你可以四处走动,从任何位置观察那个人,就好像你们在同一个房间一样。在这种信息传输下,你会感觉到这个人的等大动态雕塑,这种感觉是现实的。很显然,它并不是一个真正的人,但非常具有吸引力。
作为我牵头的国家远程全息计划的一部分,这一效果在20世纪90年代首次得到了证明。最近,由沙赫拉姆·伊扎迪(Shahram Izadi)牵头的微软团队展示了一个更好的版本,称为“全息传送”。
对任何尝试过这种体验的人来说,很显然,具有这种功能的产品更容易建立信任,避免会议偏离议题,或避免参与者被隔离在外。
但是,由于你正戴着头戴设备,所以没有办法建立双向对话。如果其他人能够看到你,他们会看到你戴着一个头戴设备。
这是因为,3D立体摄像机必须至少从对方的脸上移开一点点,才能像摄像机一样工作。如果你把它们放在一个VR头戴设备中,它们会变得非常近,你就必须搜集元素数据来重建脸部。然后,你又回到了恐怖谷中。
你可能正在想:“解决这个问题有多难?”你能提出一个超越恐怖谷的渲染算法吗?你可以让头戴设备对容积相机透明吗?或者,你可以制造一个足够大的头戴设备来给摄像机留出足够的距离,但同时又是实用和可取的吗?
这就是我们要在VR领域解决的复杂问题中一个很好的例子,它处于认知科学、文化研究、传感器物理学、高级算法、工业产品设计和美学的交界处。针对VR中的双向问题,已经有几十个部分解决方案了,但没有任何东西能够改变世界。
听起来很容易解决,对吗?一旦解决,这些就会变为现实了。
第34个VR定义:有朝一日可能用诚实的信号激活远距离通信的工具。
让我们再回到20世纪80年代的帕洛阿尔托吧。
[1] 在我写这本书时,最流行的设备可能是Snapchat的眼镜。
[2] 附录三讨论了这个问题。
[3] 有几种方法可以稍微伪造一些不可能的东西。你可以用强大的激光加热空气,直到它离子化,从而产生一些在半空中闪烁的明亮的蓝色“星星”。少量的这种火花可以经过充分的协调和补充,从而形成基本的浮动3D幻象。(这有点像人们期望从充满活力的日本VR研究圈子中看到的极端VR实验。)参见http:www.Lashistar81;p/pdf/2016to6.pdf。
空气并不是空的,它会将光弯曲一点。通过协调强烈的声波,产生能比平常更大幅度弯曲光线的密集空气袋,是有可能的,但这不足以让光子从房间的中部猛地转向眼睛。但也许有一种方法,至少能做一个很酷的演示。就我所知,还没有人利用这种方法对不可能的场景进行基本的演示,但也许迟早有人会这样做。这将是奇怪的、不切实际的。
到目前为止,最有可能在空气中实现自由飘浮的全息图的方法,可能是我一个很有创造力的朋友肯·佩尔林(Ken Perlin)创造的原型。肯的钻机使用不可见光的激光器扫描了一个小空间里的灰尘,然后立即用较大的可见激光照亮了偶然出现的灰尘颗粒,以产生效应。虽然将灰尘照亮的方法有一点作用,但结果肯定是相当模糊昏暗的,也是十分麻烦的。
还有另外一些近似的方法:一台明亮的投影机可以将图像投射到房间里任何已有的物体上。我在微软研究院的一些同事,特别是安迪·威尔逊(Andy Wilson),探索了通过协调投影图像来匹配已有真实物件的方法。他们可以创造出房间跳动的幻觉以及其他有趣的效果。如果人们戴上3D眼镜,就可以把3D图像注入房间的体验中,但这样远离了“无眼镜”的幻想。
如果你碰巧对光滑但不闪亮的纯白室内表面装饰有一种执念,那么,你可以把整个房间作为一个普通的投影表面。这种效果在舞台制作以及一些精心策划的交互式艺术场景中非常有用。迈克尔·奈马克(Michael Naimark)是使用这种方法的先驱。这种方法有时被称为“投影增强现实”,在这方面有很多文献。
[4] 沿着微软研究院一个部门的大厅往下走,就能看到Allosphere。Q站进驻了校园,数学家和物理学家在这里尝试理解一种量子计算的方法。
[5] 在这里,区分一些截然不同但相似的小装置是很重要的。每个人都看过3D电视。一个拥有大屏幕的VR小装置将拥有不同于这些电视机的能力。首先,你会看到深度。3D电视提供立体声,这就意味着,每只眼睛会看到不同的图像。另外,“深度”意味着眼睛可以集中注意力,这样,当附近的事物看上去很清晰时,远方的事物就会变得模糊,反之亦然。而更重要的区别是眼动跟踪:显示器知道你的每一只眼睛在哪里,并调整视角,以随时进行匹配。(我在之前的章节解释过为什么这很重要。)最重要的是,和VR显示器一样,VR大屏幕也必须有VRish输入法。你不只是在VR中启动视频,你还会进行雕刻、抛掷和黏合。
[6] 形状因子是一个常见的硅谷术语,用于描述事物的大小和形状,以前主要应用于电路板,现在可以应用于任何能够想象到的产品。
[7] 如果你没有搞懂这个笑话,请查查诗人艾米莉·狄金森(Emily Dickinson)的作品《希望是长着羽毛的》。
[8] 显然,你不能只是在眼前悬挂小屏幕,因为眼睛会失焦。因此,至少要把小屏幕放在焦点上,但这还不是全部。以下是部分其他要求:
• 视野往往成为一种具有男子气概的竞赛。谁可以设计出最广阔的视野?马克·博拉斯(Mark Bolas)进行了一项实验,以90度为基准,为消费者的经典/封闭式VR头戴设备提供合理的视野。
• 图像不应该扭曲,立体声配对在整个视野中必须是正确的。
• 在现实世界里,不同距离的物体通过眼睛进行差别化的聚焦。虚拟的东西会为眼睛提供这一选择,这很好。行话中把这称为“调节”。
• 重量应该较轻,因为脖子很可能被挤得不舒服。
• 戴着头戴设备时头部的重心应该与没有佩戴头戴设备时相同。
• 图像应该足够清晰,保证使用者能阅读小字。
• 头部周围不应该有太大的力量,以免造成危险。
• 不应该让人发热。
• 不应该让人出汗,不应该有冷凝现象。
• 在理想情况下,应该能够在没有电源线的情况下工作,这意味着使用电池供电或以其他方式自行提供能量。
• 应该提供至少与现实世界一样好的对比度和色域(色彩范围)。
• 不应该有闪烁或其他破坏性的人为现象。
• 像素的纹理、时序、分布和其他特质应该是不可察觉的,或令人愉快的。
• 价格足够低,可以用于实际用途。
上述列表仅适用于经典的封闭式头戴设备,你所看到的仅仅是虚拟的东西,比如原始的VPL眼机和升级产品,如Oculus Rift或HTC Vive。如果我们正在讨论HoloLens这种混合现实的头戴设备,那么,这个清单会变得更长,需求也会随之变化。混合现实的头戴设备是很难设计的。
[9] 立体放大镜会将安装在眼前的小显示屏集中起来,以提供广角效果。