利用 visionOS 27 打造新一代体验

嗨 我叫Norman 我是Vision Products Group的总监 在本次讲座中 我将介绍全新的强大方式 在visionOS 27上 构建下一代体验 回顾过去这一年 你们在这个平台上构建的内容 让我们叹为观止 我们看到了YouTube等App 带来世界级内容 进入你的客厅 Valve将Steam Link 带到Apple Vision Pro 让你在无限画布上无缝串流 2D Mac和PC游戏 Resolution Games则重新构想 重温经典体验的新方式 我们也看到了起亚 和Innoactive等公司 使用Autodesk VRED 和Nvidia的CloudXR SDK 以及全新的Foveated Streaming框架 设计下一代车辆 以及Laminar Research 融合专业人士的 数字与物理世界 借助X-Plane打造 强大的沉浸式培训解决方案 将这些体验变为现实 只是一个开始 你们一路分享的见解 弥足珍贵 你们的反馈持续塑造 visionOS的未来 指引着我们发布的功能 并推动计算 进入下一个时代 如今 人们不只是工作更快 他们在创造全新的 体验和工作流程 为了实现这些突破 最新一代Apple Vision Pro 搭载了M5芯片 为实时渲染提供 桌面级计算性能 超高分辨率显示屏 为每只眼睛提供逾4K像素 呈现令人惊叹的视觉保真度 系统以90Hz频率 追踪你的手部动作 实现高响应度 低延迟控制 借助与Apple生态系统的深度集成 你的App和游戏在所有 Apple设备上无缝衔接 结合强大的硬件和平台功能 visionOS提供多种方式 渲染你App的内容… 在共享空间中 你可以选择渲染你的App 以窗口或体积的形式 让你的体验能够与 其他应用同时共存 这让你可以在无限画布上 整理你的工作区 将生产力提升到新高度 或者 你可以启动沉浸式空间 让你的App独占运行 在你视野中的任何地方 渲染2D和3D内容

在沉浸式空间中 你的内容与物理世界融合 提供三种沉浸式风格 供你选择 混合沉浸式风格让你 将3D对象锚定在 真实环境中 例如将对象放在桌子上 渐进式风格让观众 自行调节沉浸程度 选择最适合自己的体验 或者你可以启用完全沉浸式 将他们带入 完全虚拟的世界 这些场景类型共同提供 一系列沉浸体验 在visionOS上构建体验时 有三条主要路径可供选择 取决于你的工作流程 第一条路径适用于 现有的iOS或iPadOS App 如果你已有App或游戏 在iPad或iPhone上运行 它如今很可能就能 在Apple Vision Pro上运行 只需对你的代码进行少量更改 兼容性是快速进入 平台的最简单方式 在App Store Connect中 勾选一个复选框即可 或者 你可以将iOS或iPadOS App 重新编译为visionOS 在Xcode设置中将visionOS 添加为部署目标 这两条路径都提供 低摩擦的方式 将你的体验带到visionOS

第二条路径适用于 专为空间计算从头设计的App 这让你的体验 能够与用户环境 无缝融合并响应 在这条路径中 你有两个选项 你可以使用原生框架 构建平台应用 如SwiftUI和RealityKit 以及Reality Composer Pro等工具 或使用CompositorServices 自定义渲染引擎 或者如果你偏好使用 Unity Unreal或Godot等第三方引擎 这些引擎都支持visionOS平台 除这些选项外 我们还推出了第三条路径 让你可以将现有体验 从macOS或PC带到visionOS

如果你目前有Mac App 能够渲染空间内容 visionOS 27通过Spatial Preview 框架添加了一个强大的新工具 让你可以扩展图像 文档和3D内容 直接从Mac扩展 到Apple Vision Pro 或者如果你要从PC 移植3D体验 Foveated Streaming框架 让你显示原生空间内容 与串流内容并排显示 例如 一个飞行模拟器团队 渲染了高度精细的驾驶舱 使用我们的原生渲染框架RealityKit 同时从远程计算机串流 处理密集型景观 我将在本次讲座的后续内容中 深入探讨这两项技术 这些路径共同 为你提供灵活性 在visionOS上构建精彩体验 无论你从哪里出发 我将分享这些路径的最新更新 首先 我将介绍RealityKit 和Reality Composer Pro的新功能 帮助你将丰富的3D体验变为现实 并加速工作流程

我将分享Unity Unreal和Godot 等第三方游戏引擎的更新

然后 我将带你了解Spatial Preview 一项可扩展3D内容的功能 从你的Mac App扩展到 visionOS的沉浸式世界

我还将介绍全新的 Foveated Streaming框架 让你能够串流沉浸式内容 从PC或云实例串流

我将介绍与内容互动 的精彩新方式 最后 我将分享沉浸式媒体 管道的更新 帮助你 在Apple Vision Pro上 讲述更引人入胜的故事

我们先来了解RealityKit 和Reality Composer Pro的更新 RealityKit是一些顶尖原生体验 背后的渲染引擎 在visionOS上 Reality Composer Pro是你 直观创作内容的地方 让你无需离开编辑器 即可设计 迭代和预览 借助visionOS 27 我们将两者进一步拉近 借助RealityKit你可以构建 交互式高保真空间体验 与你的真实世界无缝融合 visionOS 27在RealityKit中 添加了强大的新功能 让你的体验比以往更沉浸 让我们来看看其中几项 RealityKit全新的物理空间光照 通过将虚拟光照与真实世界融合 来加深沉浸感 这是一个虚拟星象仪投影仪 以RealityKit构建 星云在空间中闪耀 随着投影仪旋转 光线无缝贴合每一个表面 星云由全新的 Projective Textures API提供支持 让你为聚光灯添加纹理 借助这一功能 你可以模拟令人惊叹的效果 如彩色玻璃投影 或水下焦散效果 接下来 我们来看RealityKit 强大的全新布料模拟 这里 一个虚拟人台穿着飘逸的裙子 由高度逼真的模拟服装制成 人台行走时 织物自然地移动折叠 全部实时渲染 同样的模拟也让虚拟床单栩栩如生 当床单被掀开时 织物以逼真的重量和垂感响应 RealityKit不止于视觉真实感 借助全新的Custom Reverb Mesh 它将同样的真实感带入空间音频 来看这支在博物馆演奏的虚拟乐队 借助RealityKit 声音 不只是从正前方传来 它从四面八方充满整个空间 混响系统精确模拟 声音如何被吸收和散射 大厅中木材 金属和石料的作用 让你的虚拟世界更丰富 更可信的临场感 RealityKit另一个强大的新功能 是Gaussian Splatting 这是一盆小型盆栽 以3D高斯泼溅方式 扫描并渲染 每个细节都清晰可见 直至土壤纹理 借助RealityKit 你现在可以扫描真实世界的对象 并直接将它们带入你的虚拟体验 这是捕捉难以手动建模对象 的好方法 并用它们构建无比逼真的世界 要了解更多即将加入 RealityKit的功能 请参阅"探索RealityKit的最新进展"专题 借助RealityKit API 你可以创建 令人惊叹的交互式3D内容 将这些内容整合的过程 借助Reality Composer Pro 得到极大提升 我们在一次重大更新中 添加了全新工具和功能 实现快速 AI驱动的 协作工作流程 融入全新的Reality Composer Pro 3 让你不必总是依赖Xcode 就能更快推进 全新的Reality Composer Pro 带来了海量 新功能 彻底改变你的工作流程 我将带你了解其中一些全新功能 如Reality Composer Pro Assistant和Animation Graph Script Graph 和Navigation Meshes 我们先来了解 Reality Composer Pro Assistant 它将AI功能整合进 你的创意工作流程 直接在编辑器内 这是一个示例 展示AI助手 如何被用于 生成各式干果 并将它们放入场景中 预先存在的空碗里

它甚至生成了3D蜡烛 并摆放在桌子上 借助Reality Composer Pro Assistant 你描述你想要什么 它会生成带有详细纹理 和材质的3D模型 随时可放入你的场景 这是开始讲述故事的绝佳方式 早于最终游戏资产 准备好发布之前 一旦你的最终素材和动画准备就绪 Reality Composer Pro中的 Animation Graph 让你控制它们在状态之间的过渡方式 借助状态机 你可以轻松 切换空闲状态和行走状态 在运行时 并在编辑器中实时 可视化过渡效果 而且 为了帮助角色 在环境中导航 同时避开障碍物 你可以生成和调整导航网格 直接在Reality Composer Pro内 从自动生成的网格开始 如蓝色所示 然后添加 跳跃等附加功能 梯子和障碍物以完成路线 为了连接这些元素 并让场景具有交互性 Reality Composer Pro 还带来了Script Graph 借助Script Graph 你可以添加 捕获点击等事件的节点 驱动角色移动的目标位置 你可以在Apple Vision Pro上 进行实时编辑并实时预览 无需打开Xcode

现在 一切就绪后 你的角色可以找到路径 前往目的地 避开障碍物 并使用完整动画集 行走 奔跑或攀爬 Reality Composer Pro中 名为Script Graph的节点式编辑器 让你无需离开可视化工作流程 即可构建逻辑 Devs United Games使用少量节点 为Aquascape角色制作动画 进入场景时 当鱼游过环境时 动画播放甚至会相应调整 以匹配其精确速度 Reality Composer Pro中的 Shader Graph材质 也将迎来重大升级 去年我们推出了一个系统环境 以木卫五Amalthea为主题 展示次表面散射效果 让卫星表面的冰 看起来极为真实 Reality Composer Pro 3 现在公开了次表面散射 通过Shader Graph 让你可以在自己的场景中 呈现类似效果 借助更多Shader Graph功能 你现在可以为角色创建 逼真的皮肤 眼睛和头发 甚至可以打造传送门的奇幻外观 Reality Composer Pro 3 还有更多值得探索 包括Prototypes Behavior Trees Compute Graphs 以及自定义Script Graph节点 查看这些专题了解更多 RealityKit和SwiftUI等原生框架 提供了最深度的集成 与visionOS 但如果你已经用其他引擎构建了游戏 如Unity Unreal或Godot 如今将其带到Apple Vision Pro 比以往更容易 Unity从我们首次发布起 就与visionOS兼容 这是使用Unity制作的 LEGO Builder's Journey 在体积中运行

如果你拥有Unity Pro许可证 你可以将Unity游戏带到visionOS 使用Unity制作的窗口化游戏 以RealityKit进行原生渲染 而visionOS上的沉浸式游戏 既可用RealityKit渲染 也可用CompositorServices框架 取决于渲染需求 我们发布了插件 以支持空间配件 如PSVR 2 Sense控制器 让你为Unity应用和游戏 设计触觉交互

Unreal Engine也支持沉浸式模式 Polyarc是Glassbreakers的开发者 将他们的Unreal引擎游戏 带到了Apple Vision Pro 借助静态注视点渲染 带来明显更清晰的视觉效果 使用Godot构建的游戏 如Blender Studios的DogWalk 也能在Apple Vision Pro上运行 我们还为Godot通过CompositorServices 渲染添加了支持 以及一个使用RealityKit渲染的插件 我们还发布了一个PHASE音频插件 让你的Godot游戏充分利用 Apple的空间音频 你可以从我们的GitHub页面 下载这些游戏引擎插件

visionOS还支持基于 自定义渲染引擎构建的体验 借助CompositorServices框架 你可以连接自有引擎 与系统对接并在沉浸式空间中 直接渲染你的内容 这是对支持的游戏引擎的简要介绍 接下来 我们来谈谈将内容 从Mac扩展到无限画布 Apple Vision Pro上 借助Spatial Preview框架 Mac Virtual Display改变了 你的工作空间 让你可以持续佩戴头显 同时在Mac上工作 无论在何处 完全私密 借助visionOS 27 我们将把这一功能推向更高 借助Spatial Preview 这是一个全新的macOS框架 让你预览空间内容 直接从Mac显示到 你的Apple Vision Pro上 并通过SharePlay与他人协作 无需构建任何visionOS应用 借助visionOS上的Quick Look 你可以即时预览和更新内容 如空间照片和Apple沉浸式视频 以及使用USD实时编辑3D内容

你可以自由浏览3D场景 精调内容的位置

调整材质覆盖 并通过注释分享反馈 全都在空间环境中进行 借助实时资产编辑 Cinema4D和SketchUp等应用 彻底改变了创意流程 解锁实时协作的3D工作流程 无论是并肩工作 还是相隔半个地球

这项功能直接内置于 macOS 27的预览应用中 让用户开箱即用这些强大功能 我们还为预览提供了 全新的3D编辑工具 让3D内容一样易于操作 就像处理图片和PDF一样

深入了解 请观看讲座 《探索Spatial Preview框架》 Spatial Preview框架是 串流的绝佳方式 将Mac沉浸式内容串流到visionOS 接下来 我将介绍一种 将沉浸式PC内容 带到我们平台的新方式 借助Foveated Streaming Foveated Streaming让 Apple Vision Pro能够 连接到外部设备 如PC 串流OpenXR内容 visionOS自动发送输入数据 如手部 控制器位置 和麦克风 设备串流你的OpenXR内容 如视频和音频 以完全沉浸的方式 如同原生应用 Foveated Streaming 在visionOS 26.4中推出 已经解锁了令人惊叹的体验 Laminar Research的X-Plane 12 提供了同类最佳的飞行模拟体验 visionOS上的X-Plane应用 借助ARKit了解你的空间和设备 并从PC串流模拟内容 这意味着你可以使用 实体飞行模拟器飞行 同时完全沉浸在虚拟世界中 这是只有Apple Vision Pro 才能提供的综合体验

iRacing是一款PC摩托运动游戏 也可串流到Apple Vision Pro 借助Foveated Streaming iRacing Connect应用会匹配 你实体赛车方向盘的位置 与虚拟驾驶舱 ARKit的精确追踪让这成为可能 提供一种沉浸式 且令人振奋的体验

Innoactive还将Autodesk VRED 带到Apple Vision Pro 让设计师以光线追踪 可视化大型高保真模型 以1:1比例 基于PC的渲染与SwiftUI无缝配合 让你快速直观地 构建高级串流应用 画质出色 因为它使用了先进技术 优化视频流 注视点串流智能压缩视频 根据用户的注视方向 聚焦区域以更高画质串流 视觉边缘区域则使用更少带宽 过程如此快速无缝 你甚至不会察觉 串流协议由NVIDIA CloudXR驱动 这是顶级串流技术 提供高画质和低延迟 CloudXR性能强大 可通过Wi-Fi串流 无需加密狗或线缆 无论是本地PC还是云实例

而且使用起来极其简单 我们发现 仅需一天 你就可以开始串流你的OpenXR应用 到Apple Vision Pro 一周内 你可以增强你的应用 加入只有visionOS才有的功能 了解更多 请参阅我们的 Foveated Streaming专题 以上就是将内容带到 Apple Vision Pro的多种方式 接下来 我们来看一些令人兴奋的新方式 让人们能够互动 与visionOS中的内容 我们先从对象追踪的改进开始

我们在visionOS 2.0中 引入了对象追踪 让你将物理对象 转变为虚拟锚点 要追踪对象 你可以从其USDZ模型开始 并在Mac的Create ML中 训练参考对象 你将该参考对象传递给对象追踪API 你的应用就会收到位置更新信息 和物理对象的方向 实现沉浸式空间体验 对象追踪现在支持高帧率追踪 为你的应用提供更频繁的姿态更新 当对象在空间中移动时 我们在Create ML中 添加了扩展训练选项 可提高准确性和鲁棒性 尤其是手持对象 有一个新API可获取 对象在度量空间中的姿态 无需显示校正 这解锁了空间测量用例 需要高精度姿态的用例 这些功能现在在visionOS 和iOS上均可使用 对象追踪的这些改进 让你创建动态体验 当人们拿起并与物理对象互动时 立即响应 在物理世界中

例如 你现在可以精确 追踪和测量物理空间 使用手持设备 如这个医疗探头 这开启了外科导航培训等用例 为了将对象追踪带到iOS 我们正在发布ARKit API 支持与visionOS相同的功能 我们将Create ML中的ML模型训练 设计为平台无关 这意味着一旦你创建了参考对象 你可以在iOS和visionOS 应用中同时使用 并获得相同水平的追踪质量 了解更多关于使用 对象追踪API的开发 可观看WWDC24专题 或查阅我们的文档

对象追踪非常适合追踪普通对象 visionOS还支持空间配件 在visionOS 26中 我们推出了 第一批空间配件 Logitech Muse和PSVR2 Sense控制器 这些设备为你的应用 带来全新的交互性和沉浸感 通过空间追踪 按钮输入和触觉反馈 你可以使用Game Controller框架 连接到它们 并使用RealityKit 或ARKit追踪每个配件 在空间中的运动和方向 现在在visionOS 27中 我们正在扩展支持 让你构建自己的配件 空间配件是一种电子设备 内含带有以下组件的电路板 一组Apple Vision Pro可见的LED灯 用于追踪 一个IMU用于捕获 方向和加速度 配件的 以及一个蓝牙芯片 将信号发送到Apple Vision Pro

空间配件还可以承载各种输入 如按钮 触控板 以及触觉反馈 你可以将任何对象 变成兼容的空间配件 只需将这些组件安装在其中

为帮助你入门 DFRobot和MikroE等制造商 将发布现成的参考硬件和开发套件 于今年晚些时候 这些可作为将自定义 空间配件输入纳入的绝佳起点 在你的visionOS应用中 例如 这是一个3D打印的手电筒 安装了DFRobot seeMote Cap 借助低延迟追踪 它投射的虚拟光线看起来完全自然 在周围的物理墙壁上 当物理手电筒移动时 虚拟光束平稳精确地跟随移动 这是另一个示例 MikroE Spatial Anchor R1 安装在实体方向盘内部 无缝将数字车辆锚定于其上 当你抓住方向盘时 感觉就像置身车内 这解锁了沉浸式赛车模拟等用例 以及车辆内饰设计 Apple Vision Pro以最高频率 追踪这些设备 延迟极低 与显示屏的原生刷新率一致 带来无缝体验 它们支持需要快速运动的用例 空间配件将持续稳定追踪 即便短暂被遮挡 在弱光条件下也可被追踪 最后 物理按钮和触觉反馈 让你的体验 更具交互性和沉浸感

了解更多关于集成自定义空间配件 到你的空间体验中 请参阅"探索visionOS对象追踪改进"专题 接下来 我们来谈谈 将沉浸式媒体体验 带到visionOS的工作流程 visionOS支持多种 空间和沉浸式视频类型 但Apple沉浸式视频 即AIV 是最高保真度的沉浸式视频体验 可在visionOS上使用 它拥有极大的视野范围 以及完全沉浸式音频 将你置身 于体验之中 如临其境 它代表了视频媒体工程 的根本性进步 基于高分辨率 高帧率 立体180度捕捉 提供前所未有的保真度 和维度精准度 Apple沉浸式视频支持点播 以及visionOS中的直播串流 实现如此高质量的体验 需要视频 符合严苛规格 真实世界的立体比例得以维持 通过元数据驱动的镜头校准 在播放时提供精确投影 视频以每秒90帧 捕捉和串流 达到接近人眼的视觉敏锐度 超过每帧1亿像素 这相当于每秒超过100亿像素 为了处理如此大量的视频 AIV已拥有日益壮大的 制作生态系统 和后期制作工具 如今可配合行业领先的播出硬件使用 以及为iOS macOS 和visionOS开发的软件 其中许多工具都是由 像你这样的开发者构建的 借助Immersive Media Support 框架 即IMS IMS支持读写 Apple沉浸式视频的丰富元数据 并支持制作和修改沉浸式内容 通过观看这些专题 开始在应用中集成IMS "了解Apple沉浸式视频技术" 以及去年的专题 "支持visionOS App沉浸式播放"

除了最近推出的iOS支持之外 IMS中还添加了重要的新功能 在visionOS 27中 包括相机呈现覆盖命令 ImmersivePreviewRenderer API 以及宽高比门户 我们还发布了一些新的示例代码 在双轨道QuickTime中 实现静态注视点渲染 以及Apple Spatial Audio Format 制作套件的更新 我们先来了解相机呈现 覆盖命令的影响 在直播和复杂的制作场景中 你可能需要引入新的相机参数 来覆盖默认相机配置 并实时处理 这就是全新的Set Camera Command Overrides的用武之地 如果你想了解更多实际应用内容 IMS在AIV直播制作工作流程中 与SMTPE 2110的应用 请观看WWDC26讲座 《为Apple沉浸式视频构建直播工具》 全新的ImmersivePreviewRenderer 实现实时预览 Apple Vision Pro上的 Apple沉浸式视频 直接从Mac 在剪辑或直播制作工作流程中 这为编辑 调色师和导演 提供更准确的沉浸式内容 最终呈现效果 以及最终交付时的体验效果 我们还为Apple沉浸式视频 添加了宽高比门户支持 这让你在观看时保持 非常宽的沉浸式视频体验门户 从完全沉浸式模式 切换到门户模式时 为你的应用实现这一功能非常简单 可以设置自定义宽高比 在基于AVKit的应用中 使用AVPlayerViewController时 或在基于RealityKit的应用中 使用VideoPlayerComponent 接下来 我想介绍一个 使用静态注视点渲染的新示例 在保持可串流性的同时 提供高质量沉浸式视频 这样做并不实际 即使是高速家用互联网连接 也无法以立体方式串流全分辨率AIV 以每秒90帧 但简单将图像缩小至4K 会牺牲过多像素密度 而是可以对图像应用 平滑的静态注视点渲染功能 然后再编码以供串流 新示例项目展示了一种方式 使用这种技术 在可串流的帧大小中 实现高清晰度沉浸式视频 别忘了任何出色的沉浸式视频体验 还必须配有沉浸式空间音频配乐 因此我们发布了 ASAF Production Suite的重要更新 AAX插件套件现在可以定位对象 相对于参考视频 并改进了全景声工作流程 包括一个新的Scene Compressor插件 以及热图绘制的改进 和空间过滤算法的改进 新示例项目和 ASAF Production Suite 均可在developer.apple.com上下载

从更深度的沉浸 到更丰富的媒体 以及添加交互性的强大新方式 visionOS 27为你提供了 丰富的构建基础 最后 让我们重点介绍 几项最终新增功能 从空间网络开始 在visionOS 27的Safari中 窗口现在可以调整 为更宽的宽高比 让你充分利用周围的空间 更大的窗口会自然弯曲 带来更多内容 进入舒适的视野 Web环境现在默认启用 允许网站像应用一样拥有背景 这是一个展示虚拟环境的示例 来自Apple TV剧集Severance

我们精简了通知 系统状态 控制和环境 全部集中在改进后的控制中心中 以及高画质捕捉 让你以精彩的4K视频 捕捉你的应用 直接从Apple Vision Pro内 无需Mac

借助visionOS上的配件小组件支持 你可以通过更小的方式 将应用扩展到Apple Vision Pro 可一目了然的小组件 呈现最相关的信息 就在你需要的地方

visionOS 27还有更多 值得探索的内容 包括Siri增强功能 全新的冰岛环境 空间全景 个人环境 和Freeform更新 仅举几例 它们共同为你提供更强大的工具 将创意付诸实现 我们迫不及待地想看到你的下一步