在设计VR设备或体验时，当然要有一个标准使其尽可能有效地成为幻觉。但我认为，划定虚幻的边界会让VR的效果有所改善。
因此，我们提出了一种有趣而根本的张力。VR的目标之一就是，幻想必须尽可能地让人信服，不然我们在做什么？但最高层次的VR享受并不完全令人信服，就像你去看魔术表演时的感受一样。
微软Kinect的推出就是这种张力的一个例子。我对Kinect感到十分兴奋！
20世纪90年代末，由我牵头的一个研究联盟，即美国远程浸入项目，创建了首个带有深度地图的交互体验。[7]这就意味着，人和环境都是通过容积法以全3D形式实时感知的。在早期的3D交互中，比如西雅图上空的数据手套，你的身体是以点状的形式断断续续地被感应到的。但在这种实时感知的情况下，你的整个形状都是以3D的形式连续扫描的。这个软件将你呈现为一个动态的雕塑，而不是只有几个关节的木偶。
有一个消费类设备将会在我这个实验室新鲜玩意儿问世后十多年，就把这种类型的互动带给大众，这个想法令人振奋。
Kinect的引入也为虚拟理想主义和虚拟现实主义之间的张力提供了一个非常明确的例子。微软公司推出了“舞蹈中心”这一颇受欢迎的舞蹈学习体验，但他们没有公开原始数据、内部结构以及设备运作的实际情况。
这些隐藏的秘密让人着迷，让人兴奋。这时，出现了一种叫作“Kinect黑客”的文化现象——业余程序员为Kinect编写自己的软件，并在YouTube上发布视频。
这些视频没有精修过，并不是由一个长镜头构成。这些人都是书呆子和粗人。他们大多数只是暴露了原始数据。你可以在T恤衫上看到居家普通人的低画质3D动态数字模型。
图13–1 来自Kinect黑客视频的图片
这种对原始数据的暴露是否破坏了这一宏大的幻想？并没有！当Kinect的内在本质被揭露出来时，很多人为此疯狂。看到原始的内部结构让这个设备更加迷人！
Kinect黑客的数量可能总共也就几千个，而这个产品在市面上的销量达到数千万，成为历史上最畅销的消费电子设备。Kinect黑客是真的如此重要，还是只是消费者市场这一巨大海域上的泡沫？
我认为他们很重要。虽然这些黑客数量很少，他们的文化知名度却很高。黑客对这个设备进行了解释，并在一定程度上定下了数百万人欣赏这一设备的基调。
第一代Kinect的原始数据是存在噪音和毛病的，[8]它以一种特殊的、高度当代化的方式让人沉醉。人们终于看到了计算机可以看到的东西，而这又反过来阐释了人们在数字世界所处的层次。
如果Kinect黑客运动被包装成一个发声实体，它会说：“这些设备看到什么，你就可以看到什么。在进入技术人员正在向我们展示的新世界之前，你的眼睛比以前明亮了一点点。”
Kinect黑客以及小部分观看视频的人，进入了引导我们文明的对话中：人们将如何修改我们认识并影响这个世界的感觉运动循环？数字文化就是为了修改这个循环，而Kinect黑客视频大多表现出了某种奇特的扭曲。[9]
使自己成为一个自我膨胀的版本，使自己透明。黑客把自己变成了怪物，或者用手中的波浪控制着圣诞灯的浪潮。
这是我们的时代中典型的文化事件：与现实相关的因果关系被扭曲，并用数字设备演示现实。VR演示就像幽默一样，稍稍打开了人们的思路。
第29个VR定义：一场文化运动，其中，黑客利用小装置改变了演示中的因果和感知规则。
HoloLens并不像Kinect那样隐藏原始数据。直到今天，当我戴上HoloLens的时候，仍会沉醉于目睹世界数字化这样一个最简单的经历，所有东西都包裹在模拟的猎人的大网里。
几十年来，我已经目睹这个过程数千次，但它仍然吸引着我。这是实现我们的算法世界转折的齿轮。它并不是转折的意象，而是实际的转折本身。它是具体的，是自由的。这个计算是惊人的，但并不是完美的。它是偶然的碰撞，存在着缺口，而且粗糙。
一个优秀的编剧从来不会试图塑造完美的英雄，但我们的技术人员经常犯菜鸟级的错误，试图展现出我们技术的原始状态。
这是一本有关VR的书，但我必须说，热闹的柏拉图式的技术思维方式远远超越了VR。当公司设计大数据算法向你推荐约会对象或电影的时候，他们默认你属于没有主见、容易轻信别人的人类群体。人们愿意合作，但不希望看到合作的真实数据或算法的实际运作方式。
我最喜欢VR文化的一个方面就是，很多表面上准备接受其他备受吹捧和炒作的数字服务的用户，都对VR幕后的技术很好奇，甚至要求看到幕后的东西。
这就说得通了。VR数据是个人观点体验的衍生物，它是直接而明智的。当你看到VR数据时，它自有一种风情，你能理解它。VR让人们感到好奇，而对一项技术来说，这项功能是再重要不过的了。
第30个VR定义：它是这样一种技术，其内部数据和算法就像实时的人类视角经验的转换一样容易理解，因而能激发人们对幕后的好奇心。
是时候看看我生活的秘密了。
[1] 在日常生活中，一个令人十分惊讶的例子就是盲点。你的每一只眼睛在离视野中心不远的相当大的一个区域内都是看不见的，因为在这一区域内，视神经附着在视网膜上，阻断了视觉功能。但你并不知道，你的大脑正在填补这个漏洞。
[2] “头戴式显示器”（HMD）是VR头戴设备早期的一个术语。
[3] 这个例子说明了一个重要的原理：便宜的芯片可以提高其他零件的性能。
随着机器视觉的发展，芯片可以通过惯性感应运动，并且会越来越好，越来越便宜。今天，每个便携式设备都有一个加速计。把来自加速计的数据与来自相机的数据相结合，就能创建更快、更精确的跟踪器。摩尔定律似乎解决了一切问题。
除此之外，快速芯片使预测未来值得一试。一般情况下，其中涉及的数学原理被称为卡尔曼滤波器。就像你的大脑（或许是小脑）可以预测你的手需要去哪个位置捕捉运动中的棒球一样，卡尔曼滤波器也可以预测头部将要定位的位置。更专业的算法可以利用身体和颈部的特殊解剖学，你的头只能以特定的方式移动，因此也就没有必要考虑不可能的头部运动。
并且，等到你能渲染一个3D场景时，这可能就有点过时了，因为即便是对今天的廉价芯片来说，3D图形仍然意味着大量的工作。因此，高性能的VR设置将在更简单的基础上进行最后一微秒的调整，使图像更加流畅。（例如，整个图像可能会被移动、倾斜和扭曲。）
[4] 当某些感知延迟下降到七八毫秒时，VR就开始运转良好。
[5] 亚里士多德·奥纳西斯是已故的希腊船王，曾经的世界首富。——编者注
[6] https://www.scientificamerican.com/article/virtually-there/.
[7] 第二代Kinect能生成更流畅、更精细的数据。
[8] https://www.youtube.com/watch?v=ho8KVOe_y08.
[9] 跟踪具有不同的类型。由于眼睛基本是球形的，并且大致围绕其中心旋转，因此，我们通常所知道的是眼睛的位置，而不是眼睛在看哪里。只要你能够在眼睛周围呈现一个足够宽的虚拟全景，它们就能环顾四周，正确地看到虚拟的东西。这就是所谓的眼动跟踪。事实上，在转动时，眼睛在头部的位置是相当固定的，因此，你有时可以通过单纯的头部跟踪来实现眼动跟踪。而在某些VR显示器中，你必须知道眼睛看东西的方向，而不仅仅是它们的位置。这就是所谓的视线跟踪。（跟踪是没有尽头的，就像测量没有尽头一样。跟踪每只眼睛的焦距或虹膜的扩张有时是至关重要的。）