摘要

之前关于替代现实的研究中，我们探讨了一类虚拟环境，其中每个围绕用户的物理对象都与适当的虚拟对应物相关联。与“被动触觉”不同的是，替代现实假设这种关联中存在一定的差异。此前的研究探讨了这种错配的极限及其对体验真实感的影响。

本文讨论了替代现实的三个主要研究方向。首先，设计空间尚未得到充分探索，此前的研究主要集中在现实与虚拟对象之间的错配上。其次，开发能够实现动态替代过程的系统是一项关键挑战。第三，我们讨论了这些体验的元设计过程。

1.引言

替代现实（Substitutional Reality，SR）基于将虚拟对象与围绕用户的物理代理进行关联的概念。由此产生的替代虚拟环境（Substitutional Environment，SE）将基于用户所在的物理环境，但在视觉上会有根本性的不同（见图1）。SR与虚拟现实（VR）领域中先前的“被动触觉”研究的不同之处在于这种配对中存在错配。在我们之前的研究中，通过两项用户研究，我们探索了这种错配的范围。根据结果，我们制定了一套指导未来SR系统设计的准则。

在本文中，我们提出了SR的研究议程，并讨论了未来的研究方向。未来的替代现实研究需要应对三个不同的挑战：首先，更详细地研究SR的设计空间；其次，开发能够根据部署的物理环境动态生成SE的原型SR系统；第三，探索SR的元设计过程：如何传达和评估虚拟环境的抽象表示，以便SR系统能够适应每个物理环境的需求。

在此背景下，我们的首项研究代表了对SR设计空间的初步探索。我们定义了一种分层模型来描述潜在的替代类型，并借此探索了影响体验真实性的因素。从概念上讲，还有一些方面可以补充我们最初的探索。我们的实验重点在于物理对象及其虚拟对应物之间的错配，因此并未涉及在替代环境中真正行走的可能性。实际上，虚拟现实面临的最大挑战之一就是模拟环境与实际体验空间之间的差异。如果没有对应关系，在现实中行走将会因撞上墙壁或家具的风险而产生安全问题。在替代环境中，用户会意识到他们看到的虚拟对象与可触摸的物体相匹配。这种对虚拟对象所界定的活动空间的认知，可以帮助用户摆脱桌面式VR的限制。

我们还探讨了SR中需要进一步研究的其他方面：例如，更详细地探讨模型所引入的维度，如何结合无形物体和被替代物体，以及如何应对多用户替代环境中，用户自身也经历替代过程的情境。

第二个问题关注的是SR的技术挑战。在我们之前的研究中，用户所处的环境是手动构建的。然而，要实现替代现实的实际应用，需要一个能够根据物理环境动态生成替代环境（SE）的系统。目前尚无能够执行这一过程的系统，因此还不清楚可能会出现哪些问题及其对交互和移动的影响。我们认为，SR系统的研究可以通过渐进的步骤来推进，首先关注可实现的目标，例如用户周围环境的动态替代（即桌面式SR），然后再逐步扩展到更大的环境，如房间及其外部环境。一旦SR系统的原型问世，研究可以进一步探讨SR与空中触觉呈现系统的结合，或实现室外环境的替代。

最后一个问题涉及SR体验的元设计过程。内容创作者需要在不明确体验将发生在哪种物理环境中的情况下设计SR体验。这些环境可能在布局和物体可用性上有很大差异。我们探讨了如何应对这一问题以及如何评估同一SR体验在不同实例中的表现。

2.相关工作

替代现实一词最初由Suzuki等人提出。然而，他们的研究重点在于研究在不知情的情况下，用户在佩戴头戴式显示器时经历实景和录制场景交替的影响。在虚拟现实的背景下，替代现实指的是一类虚拟环境，其中每个围绕用户的物理对象都与虚拟对象进行配对，并假设两者之间存在错配。

其他研究则集中在增强用户的家庭环境，以提供更具吸引力的体验。例如，IllumiRoom是Jones等人提出的概念验证系统。该系统通过投影图像来增强常规显示屏上的游戏体验，它会根据房间布局进行校准，并投射周边图像，从而改变房间的外观或扩展游戏的视野范围。

RoomAlive 是另一个概念验证系统，它通过投影图像在用户的客厅内创建游戏体验。该系统通过重建房间的主要布局来识别平面表面，然后将虚拟对象和角色投射在墙壁或地板上，用户可以在游戏场景中与它们进行互动。例如，在一个打地鼠的场景中，虚拟的“地鼠”会显示在房间的墙壁或地板上，用户可以通过拍打或射击来与之互动。

GravitySpace 是一种通过压力感应地板（同时也作为显示屏）来重建虚拟环境的系统。通过图像识别技术，该系统分析家具和人接触点的位置。家具通过压力检测并通过旋转不变的标记进行识别。用户则通过与注册鞋子的数据库进行比对来识别鞋印。这样，该系统能够支持各种应用，如互动游戏。

3.替代现实中的感知

我们在之前的研究中提出的模型确定了一组潜在的替代类型。先前的研究探讨了每种类型的影响，从而确定了影响用户体验的高层因素。在此基础上，有几个可能的研究方向需要进一步探索：

• 模型：为了更深入地理解SR的设计空间，有必要进一步研究该模型。该模型是否已经涵盖所有替代类型？是否存在其他类型的替代？此外，还需要更详细地研究模型的每一层。例如，在美学替代中，哪种材料对打破沉浸感的影响最小？尺寸的错配在何时变得显著？在虚拟对象所表现的可操作性与其物理代理的可操作性之间的错配上，是否存在某些影响更大的错配类型？

• 移动：在虚拟环境中实现真实行走是替代现实和虚拟现实的主要目标之一。正如之前所描述的，替代不仅会涉及较大的物体，还会涉及建筑元素。因此，有必要研究在可供用户实际移动的环境中，不同类型的替代对用户体验的影响。例如，如何让用户在虚拟环境中移动，而该虚拟环境远大于物理空间的限制？过往的研究提出了“重定向行走”技术作为解决方案，这些技术的变体也可应用于替代现实。然而，这可能会导致参与者在不同的虚拟环境中经历相同的障碍模式，不清楚这是否会对存在感产生负面影响。

• 结合无形物体和被替代物体：在我们之前的研究中，我们发现用户最不可能互动的物体可以有更大的替代错配。实际上，超出用户触及范围的物体甚至可以不与任何物理元素匹配。然而，有时替代现实体验可能需要表现一个用户可能会互动的无物理匹配物体。例如，一个围绕用户需要获取的物体的保护力场。在这些情况下，如何维持用户的沉浸感？如果这个力场在视觉上足够逼真，会否足以阻止用户与之互动，从而避免打破幻想？

• 人物的替代：当前技术可以相对容易地检测用户的姿势。基于这一信息，可以在合作场景中为现实中的人分配一个虚拟化身。过去的协作虚拟环境研究主要集中在分布式网络远程呈现，而共址多用户虚拟现实系统则较少受到关注。游戏场景是探索替代现实和多用户虚拟现实结合的合适背景。例如，设想两人或多人的朋友群体在玩SR游戏或参观SR版的博物馆展览时，会面临多种挑战：

  • 接受度：在之前的两项研究中，参与者被问及是愿意单独参与SR体验还是与朋友一起参与，结果存在差异，因此需要进一步研究哪些因素会影响用户对多用户SR体验的看法。

  • 安全性：SR体验是否可以安全地包括玩家之间的竞争场景（如剑术格斗游戏）？虽然这个问题可能不仅限于多用户场景（如意外击中物体或与看似不太脆弱的对象互动），但在SR背景下仍需找到最佳应对方式。

  • 非参与者的角色：在SR体验进行时，有可能有未参与体验的人或宠物进入部署SR系统的物理环境，这可能会干扰体验。例如，在虚拟环境中看到一个物体自行移动可能会削弱存在感。如果他们没有在环境中得到表示，他们则变成需要避开的障碍。

• 用户界面：用户界面在虚拟现实系统中是一个具有挑战性的问题，在替代现实中也不例外。除了设计三维用户界面（3DUIs）以完成系统控制任务外，SR体验还会面临一些特定的挑战。例如，用户如何改变环境状态？以一个替代物理盒子的宝箱为例，两者之间可能存在功能不匹配。在虚拟环境中，宝箱可能以不同的方式打开，或者根本无法打开。通过设计用户界面可以缓解这种不匹配问题，例如，通过屏幕上的虚拟背包界面展示宝箱（完全虚拟）的内容。然而，这又回到了在同一替代环境中同时存在无物理对应物和有物理对应物的问题。

图1：基于同一物理客厅的两个替代环境，来自我们之前的研究[12]：中世纪庭院（左）和 宇宙飞船的舰桥（右）。

4.技术挑战

替代现实系统的实时开发是需要优先考虑的主要研究方向之一。主要存在两个挑战：1）开发能够执行替代过程的系统，即根据物理环境动态调整虚拟环境；2）改进用户和物体在家庭环境中的追踪技术。

4.1 替代现实系统

我们设想了几种类型的SR系统，其复杂性随着替代的物理环境规模增加而提升，包括：

• 桌面式SR：在某些场景中，仅模拟用户的直接周围环境可能就足够了。例如，在赛车或飞行模拟器中，用户在整个模拟过程中不需要离开车辆内部或驾驶舱。此类SR系统只需关注匹配桌面上的物体和虚拟环境所需的物体。用户无法在模拟环境中行走。

• 房间级SR：替代家庭房间级的环境将是下一步的逻辑扩展。SR系统会将虚拟环境的需求适应于物理环境中的可用空间，并需要追踪可操作的非静态物体。

• 大规模SR：替代任何类型的环境将是最终目标，这需要对非侵入式传感设备进行新的研究，还可能包括如何在室外环境中实现SR的方向。

在短期到中期内，我们认为桌面式和房间级SR是最可行且可实现的目标，而大规模SR则是推动整体愿景的远期目标。

替代过程的前提是重建物理环境的3D版本。即使是使用常规硬件，这也是可行的。例如，Kinect Fusion是一种实时重建系统，它通过深度摄像头创建环境的点云。在某些应用中，可能需要尽可能高保真地重建环境，例如在远程呈现或增强现实中。然而，在替代现实的背景下，粗略的表示可能已足够。替代过程的目标不是构建一个真实环境的复制品，而是利用其物理元素为完全不同的虚拟环境提供真实感。

我们设想的替代过程包括以下几个步骤：

1. 获取物理环境的点云。

2. 检测环境的主要特征（如地板、墙壁和天花板）。

3. 对家具和其他物体进行分割。

4. 为每个分割物体拟合边界框。

5. 检测语义信息。

6. 将物理对象与替代现实体验所需的虚拟对象进行匹配。

除了替代现实系统的实现，另一项目标是人为模拟物理和虚拟对象之间的错配。例如，Aireal和Ultrahaptics等项目允许用户在空中感受到触觉反馈。进一步的研究可以探索如何利用物理代理呈现其缺失的特征，以增强虚拟现实的真实感。例如，将一个真实的手电筒作为光剑的代理，真实物体可能缺乏一些虚拟物体的特征，即所谓的“特征增减”。理想情况下，触觉系统可以呈现光剑的缺失特征，如启动开关或剑柄上的纹理。

4.2 用户和物体追踪

SR系统需要能够感知用户位置的技术，并使用无需大幅改造物理环境的设备。多种面向消费者的全身运动追踪设备正在开发中，目的是降低这项技术的成本，例如STEM和PrioVR。

追踪用户希望互动的物体则是另一个挑战。实时的物体分割和分类可能是长期目标。然而，在短期内，只对用户明确希望互动的物体进行单独追踪可能是一种更具成本效益的解决方案。这种方法的优点在于不需要通过视觉表示推断语义信息，因为用户会手动标记它。然而，缺点在于传感器的物理存在可能会对沉浸感产生负面影响。在之前的研究中，我们在用户不太可能互动的物体上放置了红外标记，例如杯子的顶部或瓶颈。

5.替代现实体验的设计与评估

一旦替代现实系统的概念验证完成，研究SR体验的元设计过程将成为下一步的挑战。无论SR体验是面向游戏还是教育，设计者都需要描述参与者在系统中能够执行的任务或活动。然而，在传统游戏中，整个体验都发生在一个由设计者完全掌控的模拟环境中。

在替代现实中，设计者并不知道体验将在哪种物理环境中进行。因此，其设计过程需要以抽象的形式呈现体验的逻辑和进程，而不依赖于绝对的空间信息（如任务要求用户在房间西北角的架子上找到一个物体），而是以系统可以动态适应的方式呈现信息（如用户需要在靠近窗户的平面表面上找到一个物体）。在这方面，SR体验的设计可能会借鉴程序化内容生成的见解和方法。因此，需要进一步研究如何最好地表示这些信息以及如何处理SR的设计过程。

找到一种方法来客观衡量物理环境与虚拟环境之间的错配是另一个挑战。这个衡量标准可以用于在不同物理环境中比较相同的SR体验（类似于Usoh等人的原始研究）。研究这种衡量标准与存在感之间的关系，可以提供更多关于哪些因素对体验真实性影响最大的见解。例如，物理与虚拟物体之间的错配是否与物理位置与虚拟对应物之间的错配（如现实中的客厅被替换为不同建筑物中的虚拟房间，而不是虚拟的室外场景）同样重要？是否存在一个允许的错配水平极限，超出该水平后SR体验在给定的物理环境中不再可行？找到这些问题的答案将进一步揭示SR的设计空间。

图2：图中展示了平面表面和大型物体簇分割的示例输出。

图3：概念表示，展示了如何使用替代过程中前一步骤的输出（见图5）来创建基于深度相机捕获的点云的3D环境。

6.结论

本文提出了替代现实的研究议程，重点关注三个主要方向。第一个方向是对尚未探索的方面进行进一步研究，例如更深入地描述我们在先前工作中定义的模型、替代现实中的移动性挑战、无形物体和被替代物体的结合，以及在多用户系统中替代人物的可能性。第二个方向是探索替代现实的技术方面：从系统的动态适应虚拟环境到输入物理环境的布局，到支持它们的感知技术。第三个方向则是替代现实体验的元设计过程。

参考文献

1. A. Branzel, C. Holz, D. Hoffmann, D. Schmidt, M. Knaust, P. Lühne, R. Meusel, S. Richter, and P. Baudisch. Gravityspace: Tracking users and their poses in a smart room using a pressure-sensing floor. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’13, pages 725–734, New York, NY, USA, 2013. ACM.

2. T. Carter, S. A. Seah, B. Long, B. Drinkwater, and S. Subramanian. Ultrahaptics: multi-point mid-air haptic feedback for touch surfaces. In Proceedings of the 26th annual ACM symposium on User interface software and technology, pages 505–514. ACM, 2013.

3. M. Dou and H. Fuchs. Temporally enhanced 3d capture of room-sized dynamic scenes with commodity depth cameras. In Virtual Reality (VR), 2014 IEEE, pages 39–44. IEEE, 2014.

4. J. J. Gibson. The theory of affordances. Perceiving, Acting and Knowing, 1977.

5. H. Hoffmann. Physically touching virtual objects using tactile augmentation enhances the realism of virtual environments. In Virtual Reality Annual International Symposium, VR ’08, pages 59–63. IEEE, 1998.

6. S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shotton, S. Hodges, D. Freeman, A. Davison, et al. Kinectfusion: real-time 3d reconstruction and interaction using a moving depth camera. In Proceedings of the 24th annual ACM Symposium on User Interface Software and Technology, UIST ’11, pages 559–568. ACM, 2011.

7. B. Jones, R. Sodhi, M. Murdock, R. Mehra, H. Benko, A. Wilson, E. Ofek, B. MacIntyre, N. Raghuvanshi, and L. Shapira. Roomalive: Magical experiences enabled by scalable, adaptive projector-camera units. In Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology, UIST ’14, pages 637–644, New York, NY, USA, 2014. ACM.

8. B. R. Jones, H. Benko, E. Ofek, and A. D. Wilson. Illumiroom: Peripheral projected illusions for interactive experiences. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’13, pages 869–878, New York, NY, USA, 2013. ACM.

9. R. Khaled, M. J. Nelson, and P. Barr. Design metaphors for procedural content generation in games. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’13, pages 1509–1518, New York, NY, USA, 2013. ACM.

10. A. Kulik, A. Kunert, S. Beck, R. Reichel, R. Blach, A. Zink, and B. Froehlich. C1x6: a stereoscopic six-user display for co-located collaboration in shared virtual environments. ACM Transactions on Graphics (TOG), 30(6):188, 2011.

11. R. B. Rusu and S. Cousins. 3d is here: Point cloud library (pcl). In Robotics and Automation (ICRA), 2011 IEEE International Conference on, pages 1–4. IEEE, 2011.

12. A. Simeone, E. Velloso, and H. Gellersen. Substitutional reality: Using the physical environment to design virtual reality experiences. In Proceedings of the 33rd annual ACM conference on Human factors in computing systems, CHI ’15. ACM, 2015.

13. Sixense. Stem, 2015 (accessed February 1, 2015). http://sixense.com/wireless.

14. R. Sodhi, I. Poupyrev, M. Glisson, and A. Israr. Aireal: Interactive tactile experiences in free air. ACM Trans. Graph., 32(4):134:1–134:10, July 2013.

15. K. Suzuki, S. Wakisaka, and N. Fujii. Substitutional reality system: a novel experimental platform for experiencing alternative reality. Scientific reports, 2, 2012.

16. M. Usoh, K. Arthur, M. C. Whitton, R. Bastos, A. Steed, M. Slater, and F. P. Brooks Jr. Walking, walking-in-place, flying, in virtual environments. In Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques, pages 359–364. ACM Press/Addison-Wesley Publishing Co., 1999.

17. M. Usoh, E. Catena, S. Arman, and M. Slater. Using presence questionnaires in reality. Presence, 9(5):497–503, 2000.

18. YEI Technology. PrioVR, 2014 (accessed February 1, 2015). http://priovr.com.