沉浸式技术主要指VR（虚拟现实）、AR（增强现实）、MR（混合现实）等将现实环境和虚拟环境融合起来，从而产生沉浸感的技术。沉浸式计算可能是继移动计算平台之后的下一个计算平台。手机等移动平台的性能在不断提升，但缺乏能够发挥这些性能的场景。像手机屏幕目前基本保持在2k左右了；在手机上看视频1080P已经很高清了；除了玩游戏才能体验下高性能的显卡。沉浸式技术出现后，之前手机配置富裕的境地突然告急：我需要更高的分辨率来看的更清晰，至少单眼4K；我需要要看8K以上分辨率的全景视频；我需要更强的GPU性能来玩游戏或建模复杂的场景；我需要更高的刷新率和更低的时延来完成更好的交互体验等。各种颠覆性的需求铺天而来，整个行业从硬件配置到软件系统都在革新。沉浸式计算平台基于移动计算平台，而又演化出自己特有的业务栈，这篇文章将带您一窥沉浸式计算的冰山一角。
沉浸式系统我们这里叫它XROS，顾名思义，这里的XR是VR/AR/MR等技术的统称。上图中的NativeOS则是移动操作系统、桌面操作系统的统称，沉浸式系统可以运行于NativeOS之上。NativeOS的一个功能是将硬件抽象提供统一服务，供沉浸式系统使用。
接下来我们走进XROS。XRUI是XROS的门面，是呈现给使用者的界面。使用者进入系统，首先看到的是大厅（Launcher），这里呈现整个虚拟世界的入口，通过它你可以下载体验流行的游戏，可以看高清的全景视频，当然还有其他各种功能的应用，比如你可以找人聊天，你可以在一个房间里画画，甚至你可以当做上帝，修建一个属于你的世界。网络上有大量的全景视频和图像，你可以通过支持WEBXR标准的XRBrowser来浏览。XR应用一般通过专业的3D引擎来开发，主流的3D引擎为Unity和Unreal，可以通过提供插件技术让引擎开发的内容运行在XROS上。
XRCore包含了核心的沉浸式技术。沉浸式技术主要分为渲染处理、光学显示、感知交互三大部分。渲染处理包括3D左右眼渲染，一般3D引擎将虚拟场景渲染到中间帧缓存上，再交由XROS进行进一步处理并上屏显示。处理的过程一般是对原始图像做光学畸变和色差的预矫正，在根据最新的姿态对已有的帧做时间（ATW）和空间（ASW）上的补偿，以得到更低的运动到光线时延（MTP）。接下来将左右眼的图像根据屏幕的刷新周期绘制到屏幕的前缓冲空间（Front Buffer），因为只有一块缓冲空间，屏幕在刷新左眼的时候，右眼开始绘制，通过这种前缓冲渲染（FBR）技术可以大大的降低时延，提高沉浸感。
感知交互技术比较宽泛，可以理解为通过传感器来感知真实的世界，通过感知可以对齐现实和虚拟世界，为虚拟世界提供现实参考。交互可以是现实世界到虚拟世界，也可以通过模拟感官将虚拟世界动作反馈到现实世界。目前感知交互技术分为3DOF和6DOF，其中3DOF缺失空间位置信息，只能提供空间方向信息，只提供入门的固定在座椅上的沉浸式体验。SLAM技术带来更全面的空间感知能力，甚至是对环境的理解能力。感知交互技术正在飞速发展中。
XR设备有专用的光学显示模组，区别于手机等移动平台，通过光学显示模组，可以实现近眼显示，让使用者看到更大的视场角（FOV），体验到身临其境的感觉。在VR类设备上，光学模组一般是快闪屏加一块凸透镜。最新的超短焦模组使用Pancake透镜，使得VR眼镜更加轻薄。AR眼镜目前主流使用光波导光学器件加上LCoS、Micro-LED等显示器件来实现虚拟场景光线和现实场景光线融合显示。
XRMedia提供一些沉浸式多媒体业务，如全景视频处理，全景声处理，以及其他沉浸式技术。XRServer将一些NativeOS的能力作为服务包装起来，让XROS各个模组统一调用和使用。
以上是本人对沉浸式系统的一点认识，后面的文章将逐步深入解析相关的技术。
更多AR/VR相关的内容，可以关注公众号“沉浸式计算”~