我设想未来的显性系统会扩展至形成网络,编辑器在全球各地互相操作,一群动画角色互相对峙。
对云计算和自然人来说,恒温器和无人机等物理设备的操作控制将没有区别。因此,妨碍人们理解小型仪器的秘密将越来越少。
我想象,一开始学生会通过世界的云架构浏览、使用、调整和探索为人们设计的一切,一切都便于理解。当然,我设想这一切都是从VR内部开始的。
如果人们身处虚拟世界,就可以改变这个世界的运转方式,那么,我不知道怎么描述,这就是我之前曾在演讲中努力描绘的“后象征性交流”。
我曾经提到,21世纪成熟的VR将会融合20世纪的三大艺术:电影、编程和爵士乐。其中,爵士乐将会是最具挑战性的元素。
爵士乐是即兴的,是音乐家即兴创作的。
我们已经看到了一些可以快速创建计算机内容的基础工具。人们一直在用智能手机表达当下,包括文本、照片、电影,还有录音。灵活的用户,尤其是孩子,在《我的世界》这样的建造类游戏中修改虚拟世界的速度令人惊叹,但更深层次的即兴编程还只是个晦涩难懂的想法。
原则上,类似语言翻译或图像解读的“深层”或卷积网络可能可以适应性地修改程序,这样用户可以通过跳舞或演奏萨克斯管等变化来指导程序。
到时候,我们就可以在说话或者跳舞时,灵活、轻松地为虚拟世界定义新的交互方式或改变其物理形态了。组织语言或者设计舞蹈动作确实需要花时间,但是我们想到和感觉到时基本就能做到,所以感觉是“实时”的。
那能做到实时编程吗?我用过多种方法,帮助人们快速地“感觉到”程序是一种创作的手段,而不需要一句一句地编写。
一种方法是让人们选择,而不是建造。理解这一点最简单的方法是:想象意识的纯声音版本。假设你为用户设计了一个杂音,任何时候只要他的手一动,这个声音会再次出现,成为整个环节的一部分,其他没被选中的声音会小一些。那么他就会重复这个过程,选择更多的声音加入这一重复环节,同时允许其他声音消失。
到最后,这个可能不是音乐家的人也可以创造出属于自己的声音效果,并且这些创作会比库乐队(Garage Band)这种程序创作出的音乐更加多变,更加个性化。整个过程完全不涉及发明,只有选择,当然我们也可以花一个晚上争辩发明和选择的区别。
我们也可以通过视觉设计实现这种方法。在这种设计中,人们会处在嘈杂多风的虚拟世界中,挤压周围经过的小涡流,将其固化,直到制好雕塑。这有点像罗夏测试的活动版,不过这个是从零开始。
这个策略和相应的方法可以应用在普遍编程中吗?到目前为止,我还没有令人信服的证明示范,但我仍然希望能够实现这一点。主要问题在于观察行为需要时间,而程序可以描述行为。
在用户界面设计中,我一直期待能从乐器中获得灵感。如果我们把技术看作一种表达形式,那么毫无疑问,乐器是迄今为止最先进的技术,不过这种赞美只适用于目前的非数字乐器。
人们可以即兴创作爵士乐,这总是让我感到很惊讶。即兴创作涉及有一定深度的实时问题。未来编程在很多地方都要像爵士乐一样。
这就是为什么我花了很多精力在虚拟萨克斯管之类的精巧设计上。至少现在,它们吹奏起来还不像真正的萨克斯管那么好,当然更比不上真正好的萨克斯管。
我现在设想的未来显性即兴演奏者将会面临的问题与现代爵士萨克斯演奏者的问题不同。如果你要观看“外星飞行乌龟”在你的头上拍动翅膀的100万种行为变化,可能需要观察很多年才能选出最好的。
假设你看到几百只,甚至成千上万只乌龟,每只都是透明的,它们形成了“乌龟行为云”,而你要从中选择看起来最明显的行为。也许乐器,比如虚拟的萨克斯管,可以根据你想突显的乌龟的动作,同步演奏。
从显性角度来看,我们需要学习如何设计编辑器,以方便、可行的方式传达程序可执行的范围。记住我的话,人们会在这个问题上花几百年的时间。[16]
目前我们通过抽象来处理大量具体的可能性。需要解决的问题是我们能否找到更加流畅的具体表达形式,可以切实替代抽象。这种情况大约只有在超越我们所知的用户界面中,或许在VR的未来版本中,才可以想象。