近日,美国专利商标局公布了苹果的两项专利申请,涉及 Vision Pro 上的空间视频和空间照片,内容也可以在 iPhone 15 Pro 上创建。
专利一:XR 录制器
苹果的专利涵盖了主题技术的实现,该技术提供了记录 XR 体验的系统和方法,允许以后从不同的视角或角度回放。
该技术涵盖一个 XR 系统,该系统提供 XR 内容的录制、存储、编辑、管理和回放,以便从 XR 环境中的不同视角重新查看 XR 体验。在一个示例中,在一段时间内捕获有关设备所在物理环境的时间排序 3D 信息(例如,来自一个或多个深度传感器的深度信息),以便用于体验的 XR 录制。
在基本相同的时间段内,设备可以捕获和/或显示视频和/或音频内容(例如,包括空间音频内容)。在基本相同的时间段内,计算机生成(CG)内容在环境视图的一部分上生成和显示。与在该时间段内显示的 CG 内容相对应的内容也被捕获为时间排序的 CG 内容,并与时间排序的 3D 信息(例如,包括深度信息)、元数据(包括场景、视频和/或音频的相关信息)一起按时间顺序存储。
与该时间段内显示的 CG 内容相对应的、由 XR 系统捕获的 CG 内容可以包括场景图、在时间段内显示的 CG 内容的 3D 几何形状、纹理、材质、动画等,如果记录用户在时间段内向场景中的其他方向或位置看的话,在时间段内会显示 CG 内容的 3D 几何图形、纹理、材质、动画等,以便可以从任何角度播放 XR 录制。
在记录期间(例如,实时或在线)和/或记录之后(例如,离线),还可以生成物理环境的 3D 重建(基于深度信息、视频、音频和/或其他传感器数据),可以存储 3D 重建,并且在某些示例中,还可以存储时间顺序重建轨迹, 与按时间顺序排列的 CG 内容、按时间顺序排列的 3D 信息、元数据、视频和/或音频及时对齐。
根据苹果 iPhone 15 营销材料,该系统主要是为 Apple Vision Pro 设计的,尽管 iPhone 15 Pro 将允许用户在今年晚些时候拍摄“空间视频”。当 Vision Pro 于 2024 年推出时,这些视频将可以在 Vision Pro 上播放。
苹果还有趣地暗示,实时 3D 视频可能能够呈现在车辆的挡风玻璃上。
苹果专利图 2 示出了可以实现的示例软件架构;图 3 示出了根据所述技术实现的电子设备的其他功能。
苹果专利图 6 示出了录制 XR 体验的示例功能;苹果专利图 5 说明了录制、高级编辑和播放 XR 体验的各个阶段。高级编辑说明了用户如何将虚拟熊添加到在森林中拍摄的场景中。这种简单的 XR编 辑将来可能会很有趣。
专利二:3D 照片
苹果的第二项专利涵盖设备、系统和方法,这些设备、系统和方法可根据用户在 XR 环境中的观看位置和 3D 照片在 XR 环境中的位置,确定如何在 XR 环境中呈现 3D 照片(例如,3D、2D、模糊或完全不呈现)。
在一些实施方案中,在具有处理器的电子设备上获得 3D 照片,该 3D 照片是基于由图像捕获设备捕获的一个或多个图像创建的不完整 3D 表示。在一些实施方案中,确定电子设备相对于 3D 照片放置位置的观看位置,并且基于观看位置确定 3D 照片的呈现模式。
在某些实施方案中,根据 XR 环境中的展示模式在放置位置提供 3D 照片。