visionOS 27으로 차세대 경험 빌드하기

안녕하세요, 저는 Norman입니다 Vision Products Group의 디렉터입니다 이 세션에서는 강력한 새로운 방법을 소개합니다 visionOS 27로 차세대 경험을 만드는 방법입니다 지난 한 해를 돌아보면 여러분이 플랫폼에서 만들어낸 것들에 깜짝 놀랐습니다 YouTube와 같은 앱이 세계 수준의 콘텐츠를 거실에서 선보이고 Valve는 Steam Link를 Apple Vision Pro에 도입해 2D Mac 및 PC 게임을 무한한 캔버스에서 끊김 없이 스트리밍합니다 Resolution Games는 새로운 방식으로 클래식 경험을 재현합니다 Kia와 Innoactive 같은 기업들도 있습니다 Autodesk VRED, Nvidia의 CloudXR SDK를 활용해 새로운 Foveated Streaming 프레임워크와 함께 차세대 차량을 설계했습니다 Laminar Research도 있습니다 전문가의 디지털 세계와 물리적 세계를 융합해 X-Plane으로 강력한 몰입형 교육 솔루션을 제공합니다 이러한 경험을 실현하는 것은 시작에 불과합니다 여러분이 공유해 주신 인사이트는 매우 소중했습니다 여러분의 피드백이 visionOS의 미래를 계속 형성하며 출시하는 기능을 안내하고 컴퓨팅의 새로운 시대를 가속화합니다 오늘날 사람들은 더 빠르게 작업할 뿐 아니라 완전히 새로운 경험과 워크플로를 발명하고 있습니다 이러한 혁신을 가능하게 하기 위해 최신 세대의 Apple Vision Pro에는 M5 칩이 탑재되어 실시간 렌더링을 위한 데스크탑급 컴퓨팅을 제공합니다 초고해상도 디스플레이는 눈당 4K 이상의 픽셀을 제공해 놀라운 시각적 충실도를 구현합니다 시스템은 90Hz로 손 동작을 추적해 반응성이 뛰어난 저지연 제어를 지원합니다 Apple 생태계 전반의 긴밀한 통합으로 앱과 게임이 모든 Apple 기기에서 끊김 없이 연결됩니다 강력한 하드웨어와 플랫폼 기능을 통해 visionOS는 앱 콘텐츠를 렌더링하는 다양한 방법을 제공합니다… 공유 공간에서는 앱을 윈도우나 볼륨으로 렌더링하도록 다른 애플리케이션과 동시에 공존할 수 있습니다 이를 통해 무한한 캔버스에서 작업 공간을 구성하고 생산성을 한 단계 높일 수 있습니다 또는 앱이 독점적으로 실행되는 몰입형 공간을 시작해 시야 어디에나 2D 및 3D 콘텐츠를 렌더링할 수 있습니다

몰입형 공간에서는 콘텐츠가 물리적 세계와 융합되어 세 가지 몰입 스타일 중에서 선택할 수 있습니다 Mixed 몰입 스타일을 사용하면 3D 오브젝트를 실제 환경에 고정할 수 있습니다 테이블 위에 오브젝트를 놓는 것처럼요 Progressive 스타일은 사용자가 몰입 수준을 조절할 수 있게 해 적합한 수준을 선택하게 합니다 또는 Full 몰입을 활성화해 완전한 가상 세계로 안내할 수 있습니다 이 씬 타입들은 콘텐츠에 다양한 몰입 스펙트럼을 제공합니다 visionOS에서 경험을 구축할 때 선택할 수 있는 세 가지 주요 경로가 있으며 워크플로에 따라 달라집니다 첫 번째 경로는 기존 iOS 또는 iPadOS 앱을 위한 것입니다 이미 iPad 또는 iPhone에서 실행 중인 앱이나 게임이 있다면 오늘날 Apple Vision Pro에서 실행될 가능성이 높습니다 코드를 최소한으로 변경해서요 호환성은 플랫폼에 빠르게 접근하는 가장 간단한 방법입니다 App Store Connect에서 체크박스만 선택하면 됩니다! 또는 iOS 또는 iPadOS 앱을 visionOS로 재컴파일하고 Xcode 설정에서 visionOS를 배포 대상으로 추가하면 됩니다 이 두 가지 경로 모두 간편한 방법을 제공해 경험을 visionOS로 가져올 수 있습니다

두 번째 경로는 공간 컴퓨팅을 위해 처음부터 설계된 앱을 위한 것입니다 이를 통해 경험이 사람들의 환경과 원활하게 융합되고 반응합니다 이 경우 두 가지 옵션이 있습니다 네이티브 프레임워크를 사용해 플랫폼을 개발할 수 있습니다 SwiftUI, RealityKit 등을 Reality Composer Pro와 같은 도구도 있습니다 또는 CompositorServices로 커스텀 렌더링 엔진을 사용할 수 있습니다 Unity, Unreal, Godot 등의 서드파티 게임 엔진을 선호한다면 이 모두 visionOS를 플랫폼으로 지원합니다 이러한 옵션 외에도 세 번째 경로를 소개합니다 기존 경험을 가져올 수 있는 방법으로 macOS 또는 PC의 경험을 visionOS로 가져올 수 있습니다

현재 공간 콘텐츠를 렌더링하는 Mac 앱이 있다면 visionOS 27에서 Spatial Preview 프레임워크라는 강력한 새 도구가 추가됩니다 이미지, 문서, 3D 콘텐츠를 확장할 수 있습니다 Mac에서 직접 Apple Vision Pro로 PC에서 3D 경험을 가져오는 경우에는 Foveated Streaming 프레임워크로 네이티브 공간 콘텐츠를 표시하고 스트리밍 콘텐츠와 함께 보여줄 수 있습니다 예를 들어, 비행 시뮬레이터 팀이 정밀한 조종석을 렌더링하고 네이티브 렌더링 프레임워크인 RealityKit를 사용해 원격 컴퓨터에서 프로세서 집약적인 풍경을 스트리밍했습니다 이 두 기술 모두 세션 후반부에서 더 자세히 다루겠습니다 이러한 경로들은 유연성을 제공해 visionOS를 위한 멋진 경험을 만들 수 있습니다 어디서 시작하든 상관없이 이 경로들에 대한 최신 업데이트를 공유하겠습니다 먼저 RealityKit와 Reality Composer Pro의 새로운 기능을 풍부한 3D 경험을 실현하는 데 도움이 되는 가속화된 워크플로로 다룹니다

Unity, Unreal, Godot 등의 서드파티 게임 엔진 업데이트도 소개합니다

그런 다음 Spatial Preview를 소개합니다 3D 콘텐츠를 확장하는 기능으로 Mac 앱에서 visionOS의 몰입형 세계로 확장합니다

새로운 Foveated Streaming 프레임워크도 소개합니다 몰입형 콘텐츠를 스트리밍할 수 있게 해주는 PC 또는 클라우드 인스턴스에서요

콘텐츠와 상호작용하는 놀라운 새로운 방법도 다룹니다 마지막으로 몰입형 미디어 파이프라인 업데이트를 공유해 Apple Vision Pro에서 더욱 매력적인 스토리를 전달하도록 돕겠습니다

RealityKit와 Reality Composer Pro 업데이트부터 시작하겠습니다 RealityKit는 visionOS에서 최고의 네이티브 경험을 구현하는 렌더링 엔진입니다 Reality Composer Pro는 콘텐츠를 시각적으로 제작하는 곳으로 에디터를 벗어나지 않고 디자인, 반복 작업, 미리 보기를 합니다 visionOS 27에서 두 도구를 더욱 긴밀하게 통합합니다 RealityKit으로 인터랙티브하고 고품질의 공간 경험을 구축하고 실제 세계와 원활하게 융합할 수 있습니다 visionOS 27에서 RealityKit에 강력한 새 기능을 추가해 경험을 더욱 몰입감 있게 만들 수 있습니다 몇 가지를 살펴보겠습니다 RealityKit의 새로운 물리적 공간 조명이 가상 조명을 실제 세계와 융합해 몰입감을 높입니다 여기 가상 플라네타리움 프로젝터가 있습니다 RealityKit으로 제작했습니다 별과 성운이 공간을 빛내고 프로젝터가 돌면 빛이 모든 표면에 원활하게 맞춰집니다 별과 성운은 새로운 Projective Textures API로 구현되어 스포트라이트에 텍스처를 추가할 수 있습니다 이 기능으로 멋진 효과를 시뮬레이션할 수 있습니다 스테인드글라스 투영이나 수중 굴절 같은 효과도요 다음으로 RealityKit의 강력한 새 Cloth Simulation을 살펴보겠습니다 가상 마네킹이 흘러내리는 드레스를 입고 있습니다 매우 사실적으로 시뮬레이션된 의상으로 만들어졌습니다 마네킹이 걸을 때 천이 자연스럽게 움직이고 접힙니다 모두 실시간으로 렌더링됩니다 같은 시뮬레이션이 가상 침대 커버에도 적용됩니다 침대 커버를 당기면 천이 사실적인 무게감과 늘어짐으로 반응합니다 RealityKit은 시각적 사실감에서 멈추지 않습니다 새로운 Custom Reverb Mesh로 공간 오디오에도 동일한 진정성을 부여합니다 박물관에서 연주하는 가상 밴드를 보세요 RealityKit으로 소리가 단지 앞에서 나오는 것이 아니라 모든 방향에서 공간을 가득 채웁니다 리버브 시스템이 소리가 어떻게 흡수되고 산란되는지 홀의 나무, 금속, 돌에 의해 정확하게 시뮬레이션해 가상 세계에 더욱 풍부하고 실감나는 존재감을 줍니다 RealityKit의 또 다른 강력한 새 기능은 Gaussian Splatting입니다 작은 화분 식물이 있습니다 3D Gaussian splat으로 스캔하고 렌더링했습니다 흙의 질감까지 모든 디테일이 살아있습니다 RealityKit으로 이제 실제 오브젝트를 스캔하고 가상 경험에 직접 가져올 수 있습니다 손으로 모델링하기 어려운 오브젝트를 캡처하는 훌륭한 방법입니다 이를 활용해 매우 사실적인 세계를 구축할 수 있습니다 RealityKit에 추가되는 더 많은 기능을 알아보려면 "Explore advances in RealityKit" 세션을 확인하세요 RealityKit API로 멋진 인터랙티브 3D 콘텐츠를 만들 수 있지만 그 콘텐츠를 구성하는 과정은 Reality Composer Pro로 크게 향상됩니다 주요 업데이트에서 새로운 도구와 기능을 추가합니다 빠르고 AI 기반의 협업 워크플로를 지원하는 새로운 Reality Composer Pro 3으로 Xcode를 항상 열지 않고도 더 빠르게 더 멀리 나아갈 수 있습니다 새로운 Reality Composer Pro는 다양한 선택지를 제공합니다 워크플로를 혁신할 새로운 기능들입니다 이 브랜드 새로운 기능들 중 일부를 소개하겠습니다 Reality Composer Pro Assistant, Animation Graph Script Graph, Navigation Meshes입니다 Reality Composer Pro Assistant부터 시작하겠습니다 에디터 내에서 AI 기능을 창의적 워크플로에 통합합니다 바로 에디터 안에서요 AI 어시스턴트를 사용하는 방법을 보여주는 예시입니다 건조 과일 모음을 생성하고 씬에 있는 기존의 빈 그릇에 배치하는 작업입니다

3D 양초도 생성해 테이블에 배치했습니다 Reality Composer Pro Assistant에서 원하는 것을 설명하면 상세한 텍스처와 재질을 갖춘 3D 모델을 생성합니다 씬에 배치할 준비가 된 상태로요 최종 게임 에셋이 완성되기 훨씬 전부터 스토리텔링을 시작하는 좋은 방법입니다 출시 준비가 되기 전에도요 최종 에셋과 애니메이션이 준비되면 Reality Composer Pro의 Animation Graph를 통해 상태 간 전환을 제어할 수 있습니다 상태 머신으로 유휴 상태와 걷기 상태 사이를 쉽게 전환하고 런타임에서 에디터에서 실시간으로 전환을 시각화할 수 있습니다 캐릭터가 환경을 탐색하고 장애물을 피하도록 돕기 위해 내비게이션 메시를 생성하고 조정할 수 있습니다 바로 Reality Composer Pro 안에서요! 자동 생성된 메시부터 시작해 파란색으로 표시된 것처럼 점프 같은 추가 기능을 더하고 사다리와 장애물을 추가해 코스를 완성합니다 이 요소들을 연결해 씬을 인터랙티브하게 만들려면 Reality Composer Pro에 Script Graph도 있습니다 Script Graph로 탭과 같은 이벤트를 감지하는 노드를 추가해 캐릭터가 이동할 위치를 지정합니다 Apple Vision Pro에서 라이브 미리 보기로 실시간 편집을 할 수 있습니다 Xcode를 열지 않아도 됩니다

모든 것이 준비되면 캐릭터가 목적지를 찾아가고 장애물을 피하며 전체 애니메이션 세트로 걷고, 달리고, 오릅니다 Reality Composer Pro의 노드 기반 에디터인 Script Graph로 시각적 워크플로를 벗어나지 않고 로직을 구축할 수 있습니다 Devs United Games는 몇 개의 노드로 Aquascape 캐릭터가 씬에 등장할 때 애니메이션을 적용합니다 물고기가 환경을 헤엄치면 애니메이션 재생도 정확한 속도에 맞게 조정됩니다 Reality Composer Pro의 셰이더 그래프 재질도 대규모 업그레이드가 이루어집니다 지난해 시스템 환경을 소개했습니다 목성의 위성 Amalthea가 있는 서브서피스 스캐터링 효과를 선보이는 환경입니다 위성 표면의 얼음이 매우 실감나게 보이는 효과입니다 Reality Composer Pro 3에서 이제 Shader Graph를 통해 서브서피스 스캐터링을 직접 사용할 수 있습니다 나만의 씬에 유사한 효과를 적용하세요 추가 셰이더 그래프 기능으로 캐릭터에 생생한 피부, 눈, 머리카락을 만들 수 있습니다 또는 포탈의 이질적인 모습도 만들 수 있습니다 Reality Composer Pro 3에는 훨씬 더 많은 기능이 있습니다 Prototypes, Behavior Trees, Compute Graphs를 포함해 커스텀 스크립트 그래프 노드도 있습니다 이 세션들을 통해 더 알아보세요 RealityKit, SwiftUI 같은 네이티브 프레임워크는 visionOS와 가장 깊은 통합을 제공합니다 visionOS와 함께요 하지만 이미 다른 엔진으로 게임을 만들었다면 Unity, Unreal, Godot 같은 엔진으로요 Apple Vision Pro로 가져오는 것이 그 어느 때보다 쉬워졌습니다 Unity는 처음 출시부터 visionOS와 호환됩니다 Unity로 만든 LEGO Builder's Journey가 있습니다 볼륨에서 실행됩니다

Unity Pro 라이선스가 있다면 Unity 게임을 visionOS로 가져올 수 있습니다 Unity로 만든 윈도우 게임은 네이티브 렌더링에 RealityKit를 사용합니다 visionOS의 몰입형 게임은 RealityKit로 렌더링하거나 CompositorServices 프레임워크를 사용할 수 있습니다 렌더링 요구에 따라 달라집니다 공간 액세서리를 지원하는 플러그인을 출시했습니다 PSVR 2 Sense 컨트롤러 같은 Unity 앱과 게임에 촉각 인터랙션을 디자인할 수 있습니다

Unreal Engine도 몰입형 모드에서 사용 가능합니다 Glassbreakers의 개발사 Polyarc도 있습니다 Unreal Engine 게임을 Apple Vision Pro로 가져와 정적 포비에이션으로 눈에 띄게 선명한 시각을 구현했습니다 Blender Studios의 DogWalk처럼 Godot으로 만든 게임도 Apple Vision Pro에서 실행됩니다 CompositorServices를 통한 Godot 렌더링도 지원합니다 RealityKit 렌더링을 위한 플러그인도 함께 제공합니다 PHASE 오디오 플러그인도 출시했습니다 Godot 게임이 Apple의 공간 오디오를 완벽하게 활용할 수 있습니다 이 게임 엔진 플러그인은 GitHub 페이지에서 다운로드할 수 있습니다

visionOS는 커스텀 렌더링 엔진으로 구축된 경험도 지원합니다 CompositorServices 프레임워크로 독점 엔진을 시스템에 연결하고 몰입형 공간에서 직접 콘텐츠를 렌더링할 수 있습니다 지원되는 게임 엔진을 간략히 살펴봤습니다 이제 Mac 콘텐츠를 무한한 캔버스로 확장하는 방법을 이야기해 보겠습니다 Apple Vision Pro에서 Spatial Preview 프레임워크를 사용합니다 Mac Virtual Display는 작업 공간을 변화시켜 헤드셋을 착용한 채로 어디서든 완전한 프라이버시로 Mac에서 작업할 수 있습니다 visionOS 27에서 이 기능을 더욱 발전시킵니다 Spatial Preview로요 새로운 macOS 프레임워크로 공간 콘텐츠를 미리 볼 수 있습니다 Mac에서 직접 Apple Vision Pro에서 SharePlay를 통해 다른 사람들과 협업할 수도 있습니다 visionOS 앱을 빌드하지 않아도 됩니다! visionOS의 Quick Look을 활용해 콘텐츠를 즉시 미리 보고 업데이트할 수 있습니다 공간 사진과 Apple 몰입형 비디오처럼 USD를 사용해 3D 콘텐츠를 실시간으로 편집할 수 있습니다

3D 씬을 자유롭게 이동하고 콘텐츠 배치를 세밀하게 조정하고

재질 오버라이드를 조정하고 주석으로 피드백을 공유할 수 있습니다 모두 공간 환경에서요 실시간 에셋 편집으로 Cinema4D와 SketchUp 같은 앱이 창작 과정을 혁신합니다 실시간 협업 3D 워크플로를 지원합니다 나란히 함께 작업하든 전 세계 어디서든요

이 기능은 macOS 27의 Preview에 직접 내장되어 있어 고객이 바로 이 강력한 기능을 사용할 수 있습니다 Preview에 새로운 3D 편집 도구도 추가합니다 3D 콘텐츠를 이미지와 PDF만큼 쉽게 작업할 수 있게 해줍니다 이미지와 PDF처럼요

더 자세히 알아보려면 "Discover the Spatial Preview framework" 세션을 확인하세요 Spatial Preview 프레임워크는 스트리밍하기 좋은 방법입니다 몰입형 Mac 콘텐츠를 visionOS로요 이제 몰입형 PC 콘텐츠를 가져오는 새로운 방법을 소개합니다 Foveated Streaming으로 플랫폼에 가져올 수 있습니다 Foveated Streaming은 Apple Vision Pro가 외부 기기에 연결할 수 있게 합니다 PC 같은 OpenXR 콘텐츠를 스트리밍하기 위해서요 visionOS가 손, 컨트롤러 위치 같은 입력 데이터를 자동으로 전송합니다 마이크 포함해서요 기기는 비디오와 오디오 같은 OpenXR 콘텐츠를 스트리밍합니다 완전한 몰입감으로 네이티브 앱처럼요 Foveated Streaming은 visionOS 26.4에서 출시되어 이미 놀라운 경험을 제공하고 있습니다 Laminar Research의 X-Plane 12가 최고 수준의 비행 시뮬레이션 경험을 제공합니다 visionOS의 X-Plane 앱은 ARKit로 공간과 장비를 이해하고 PC에서 시뮬레이션을 스트리밍합니다 물리적 비행 시뮬레이터로 비행하면서 가상 세계에 완전히 몰입할 수 있습니다 Apple Vision Pro만이 제공할 수 있는 통합 경험입니다

PC용 모터스포츠 레이싱 게임인 iRacing도 Apple Vision Pro로 스트리밍됩니다 Foveated Streaming을 사용해서요 iRacing Connect 앱은 물리적 레이싱 휠 위치를 가상 조종석과 맞춥니다 정밀한 ARKit 추적으로 가능한 일입니다 몰입감 있고 짜릿한 경험을 제공합니다

Innoactive도 Autodesk VRED를 Apple Vision Pro로 가져옵니다 디자이너가 레이 트레이싱으로 방대하고 고품질 모델을 시각화할 수 있습니다 1:1 스케일로요 PC 기반 렌더링이 SwiftUI와 원활하게 연동되어 고급 스트리밍 애플리케이션을 빠르고 직관적으로 구축할 수 있습니다 품질도 탁월합니다 고급 기술을 사용해 비디오 스트림을 최적화하기 때문입니다 Foveated streaming은 시선을 기반으로 비디오를 지능적으로 압축합니다 사람이 보고 있는 곳을 기준으로요 초점이 맞는 영역은 높은 품질로 스트리밍되고 시야 주변부는 더 적은 대역폭을 사용합니다 매우 빠르고 원활하게 이루어져 전혀 눈치채지 못합니다 스트리밍 프로토콜은 NVIDIA CloudXR로 구동됩니다 최고 수준의 스트리밍 기술로 높은 품질과 낮은 지연을 제공합니다 CloudXR은 Wi-Fi로 스트리밍할 만큼 성능이 뛰어납니다 동글이나 케이블 없이도 로컬 PC든 클라우드 인스턴스든 상관없이요

사용하기도 매우 쉽습니다 단 하루 만에 OpenXR 애플리케이션을 스트리밍할 수 있습니다 Apple Vision Pro에서요 일주일 안에 애플리케이션을 더욱 발전시킬 수 있습니다 visionOS에서만 찾을 수 있는 기능으로요 더 알아보려면 Foveated Streaming 전용 세션을 확인하세요 Apple Vision Pro에 콘텐츠를 가져오는 다양한 방법을 살펴봤습니다 이제 visionOS에서 사람들이 콘텐츠와 상호작용하는 흥미로운 새로운 방법을 알아보겠습니다 오브젝트 추적 개선 사항부터 시작하겠습니다

visionOS 2.0에서 오브젝트 추적을 소개했습니다 물리적 오브젝트를 가상 앵커로 변환할 수 있습니다 오브젝트를 추적하려면 USDZ 모델로 시작해 Mac의 Create ML에서 참조 오브젝트를 훈련합니다 그 참조 오브젝트를 오브젝트 추적 API에 전달하면 앱이 물리적 오브젝트의 위치에 대한 업데이트를 받습니다 방향과 함께요 몰입형 공간 경험을 구현할 수 있습니다 오브젝트 추적이 이제 고프레임률 추적을 지원합니다 앱이 더 자주 포즈 업데이트를 받아 오브젝트가 공간에서 움직일 때요 Create ML에 확장된 훈련 옵션을 추가했습니다 정확도와 견고성이 향상됩니다 특히 손에 쥔 오브젝트에서요 메트릭 공간에서 오브젝트 포즈를 가져오는 새로운 API가 있습니다 디스플레이 보정 없이요 이를 통해 공간 측정 활용 사례를 지원합니다 고정밀 포즈가 필요한 경우요 이 기능들은 이제 visionOS와 iOS 모두에서 사용 가능합니다 오브젝트 추적 개선으로 동적인 경험을 만들 수 있습니다 사람들이 물리적 세계의 오브젝트를 집어 들고 상호작용할 때 즉각적으로 반응합니다

예를 들어 이제 물리적 공간을 정확하게 추적하고 측정할 수 있습니다 이 의료용 프로브와 같은 핸드헬드 기기를 사용해서요 수술 내비게이션 훈련 같은 활용 사례도 열립니다 iOS에 오브젝트 추적을 도입하기 위해 ARKit API를 출시합니다 visionOS와 동일한 기능을 지원합니다 Create ML의 ML 모델 훈련을 플랫폼에 무관하게 설계했습니다 참조 오브젝트를 만들면 iOS 및 visionOS 앱 모두에서 사용할 수 있습니다 동일한 수준의 추적 품질로요 오브젝트 추적 API 개발에 대해 더 알아보려면 WWDC24 세션을 시청하거나 문서를 살펴보세요

오브젝트 추적은 일반 오브젝트 추적에 매우 유용하지만 visionOS는 공간 액세서리도 지원합니다 visionOS 26에서 첫 번째 공간 액세서리 세트를 소개했습니다 Logitech Muse와 PSVR2 Sense 컨트롤러입니다 이 기기들은 앱에 새로운 수준의 인터랙티브성과 몰입감을 제공합니다 공간 추적, 버튼 입력, 햅틱 피드백을 통해서요 Game Controller 프레임워크를 사용해 연결하고 RealityKit을 사용할 수 있습니다 또는 ARKit으로 각 액세서리의 공간 움직임과 방향을 추적합니다 visionOS 27에서 지원을 확대해 나만의 액세서리를 만들 수 있습니다 공간 액세서리는 전자 기기입니다 다음 구성요소가 있는 보드를 포함합니다 Apple Vision Pro가 볼 수 있는 LED 별자리로 추적에 사용합니다 액세서리의 방향과 가속도를 캡처하는 IMU 방향과 가속도를 캡처합니다 Apple Vision Pro로 신호를 전송하는 Bluetooth 칩도 있습니다

공간 액세서리는 다양한 입력을 호스팅할 수도 있습니다 버튼, 터치패드 같은 햅틱 피드백도 포함해서요 어떤 오브젝트든 호환 가능한 공간 액세서리로 만들 수 있습니다 이 구성요소를 설치하기만 하면 됩니다

시작을 돕기 위해 DFRobot과 MikroE 같은 제조사에서 기성품 참조 하드웨어와 개발 키트를 출시합니다 올해 말에요 커스텀 공간 액세서리 입력을 포함하기 위한 좋은 시작점이 됩니다 visionOS 앱에서요 예를 들어 이것은 3D 프린팅된 손전등입니다 DFRobot seeMote Cap을 장착했습니다 저지연 추적 덕분에 가상 빛이 완전히 자연스럽게 보입니다 주변의 물리적 벽에요 물리적 손전등이 움직이면 가상 빔이 부드럽고 정확하게 따라옵니다 또 다른 예시입니다 MikroE Spatial Anchor R1이 물리적 스티어링 휠 안에 장착되어 있습니다 디지털 차량을 원활하게 고정합니다 핸들을 잡으면 차 안에 있는 느낌이 듭니다 몰입형 레이싱 시뮬레이션 같은 활용 사례가 열립니다 차량 인테리어 디자인도요 Apple Vision Pro는 가능한 가장 높은 주파수로 이 기기들을 추적합니다 매우 낮은 지연으로 디스플레이의 네이티브 갱신 속도와 일치해 원활한 경험을 제공합니다 빠른 동작이 필요한 활용 사례를 지원합니다 공간 액세서리는 강력하게 계속 추적됩니다 일시적으로 가려져도요 저조도 환경에서도 추적 가능합니다 마지막으로 물리적 버튼과 햅틱으로 경험을 더욱 풍부하게 만들 수 있습니다 더욱 인터랙티브하고 몰입감 있게요

커스텀 공간 액세서리를 통합하는 방법을 더 알아보려면 공간 경험에서요 "Explore enhancements to visionOS object tracking" 세션을 확인하세요 이제 몰입형 미디어 경험을 visionOS로 가져오는 워크플로를 이야기해 보겠습니다 visionOS는 다양한 공간 및 몰입형 비디오 타입을 지원합니다 Apple Immersive Video, 즉 AIV는 가장 높은 충실도의 몰입형 비디오 경험입니다 visionOS에서 사용 가능한요 매우 넓은 시야각을 가지고 있으며 완전 몰입형 오디오로 직접 그 자리에 있는 것처럼 느껴집니다 비디오 미디어 엔지니어링의 근본적인 발전을 나타냅니다 고해상도, 고프레임률, 스테레오스코픽 180도 캡처를 기반으로 전례 없는 충실도와 입체감 정확도를 제공합니다 Apple Immersive Video는 visionOS에서 VOD와 라이브 방송 스트리밍을 모두 지원합니다 이처럼 높은 품질의 경험을 위해서는 까다로운 사양을 충족하는 비디오가 필요합니다 실제 스테레오스코픽 스케일이 유지됩니다 메타데이터 기반 렌즈 캘리브레이션을 통해 재생 중 정확한 투영을 제공합니다 비디오는 초당 90프레임으로 캡처 및 스트리밍됩니다 인간 시각에 가까운 해상도로 프레임당 1억 픽셀 이상입니다 초당 100억 픽셀 이상입니다 이 방대한 비디오를 처리하기 위해 AIV에는 이미 성장 중인 프로덕션 생태계가 있습니다 포스트 프로덕션 도구들이 업계 최고의 방송 하드웨어로 사용 가능합니다 iOS, macOS, visionOS용으로 개발된 소프트웨어도요 그 도구들 중 많은 것이 여러분과 같은 개발자들이 만든 것입니다 Immersive Media Support 프레임워크, 즉 IMS를 사용해서요 IMS는 Apple Immersive Video의 풍부한 메타데이터 읽기와 쓰기를 지원하며 몰입형 콘텐츠 제작과 수정을 지원합니다 앱에 IMS 통합을 시작하려면 이 세션들을 시청하세요 "Learn about Apple Immersive Video technologies" 그리고 작년의 "Support immersive video playback in visionOS apps"입니다

최근 도입된 iOS 지원 외에도 IMS에 중요한 새 기능이 추가되었습니다 visionOS 27에서요 카메라 프레젠테이션 오버라이드 명령을 포함해 ImmersivePreviewRenderer API와 와이드 화면비 포탈도 있습니다 새로운 샘플 코드도 공개했습니다 듀얼 트랙 QuickTime에서 정적 포비에이션을 구현하고 Apple Spatial Audio Format 프로덕션 수트 업데이트도 포함합니다 먼저 새로운 카메라 프레젠테이션 오버라이드 명령의 영향을 살펴보겠습니다 라이브 및 복잡한 프로덕션 환경에서 새로운 카메라 파라미터를 도입해야 할 수 있습니다 기본 카메라 구성을 오버라이드하기 위해 실시간으로요 바로 이때 새로운 Set Camera Command Overrides가 활용됩니다 실제 활용 방법에 대해 더 알아보려면 SMTPE 2110을 사용한 AIV 라이브 프로덕션 워크플로에서 IMS를 활용하는 방법을 WWDC 26 세션에서 확인하세요 "Build live production tools for Apple Immersive Video"입니다 새로운 ImmersivePreviewRenderer로 실시간 미리 보기가 가능합니다 Apple Vision Pro에서 Apple Immersive Video를 Mac에서 직접 편집 또는 라이브 프로덕션 워크플로 중에요 편집자, 컬러리스트, 디렉터에게 몰입형 콘텐츠가 어떻게 보일지 더 정확하게 표현됩니다 최종 납품 시 경험되는 방식으로요 Apple Immersive Video에 와이드 화면비 포탈 지원도 추가합니다 전체 몰입 모드에서 포탈 모드로 전환할 때 매우 넓은 몰입형 비디오 포탈을 유지할 수 있습니다 앱 구현은 간단합니다 커스텀 화면비를 설정할 수 있습니다 AVKit 기반 앱에서 AVPlayerViewController를 사용하거나 RealityKit 기반 앱에서 VideoPlayerComponent를 사용합니다 이제 정적 포비에이션을 사용하는 새로운 샘플을 소개합니다 스트리밍 가능하게 유지하면서 고품질 몰입형 비디오를 제공합니다 현실적으로 어렵습니다 고속 가정용 인터넷 연결로도 전체 해상도 AIV를 스테레오로 초당 90프레임으로 스트리밍하기가요 하지만 단순히 이미지를 4K로 축소하면 픽셀 밀도를 너무 많이 희생하게 됩니다 대신 이미지에 부드러운 정적 포비에이션 함수를 적용할 수 있습니다 스트리밍용으로 인코딩하기 전에요 새로운 샘플 프로젝트는 이 기술을 활용하는 한 가지 방법을 보여줍니다 스트리밍 가능한 프레임 크기로 고선명 몰입형 비디오를 구현합니다 훌륭한 몰입형 비디오 경험에는 몰입형 공간 오디오 사운드트랙도 필수입니다 ASAF 프로덕션 수트의 중요한 새 업데이트를 출시했습니다 AAX 플러그인 수트에서 이제 오브젝트 위치를 지정할 수 있습니다 참조 비디오 기준으로 앰비소닉스 워크플로 개선 사항을 포함해 새로운 Scene Compressor 플러그인이 있습니다 히트맵 그리기 개선 사항과 공간 필터링 알고리즘 개선도 포함됩니다 새 샘플 프로젝트와 ASAF 프로덕션 수트는 developer.apple.com에서 다운로드할 수 있습니다

더 깊은 몰입감, 풍부한 미디어 인터랙티브성을 추가하는 강력한 새로운 방법들로 visionOS 27은 많은 것을 구축할 수 있게 해줍니다 마무리로 몇 가지 최종 추가 사항을 살펴보겠습니다 공간 웹부터 시작합니다 visionOS 27의 Safari에서 윈도우를 더 넓은 화면비로 조정할 수 있습니다 주변 공간을 완전히 활용할 수 있습니다 더 큰 윈도우가 자연스럽게 곡선을 이루어 더 많은 콘텐츠를 편안하게 볼 수 있습니다 웹 환경이 이제 기본으로 활성화되어 웹사이트에 앱처럼 배경이 생깁니다 Apple TV 시리즈 Severance의 가상 환경을 보여주는 예시입니다

알림, 시스템 상태, 제어, 환경을 간소화했습니다 새롭게 개선된 Control Center에서 한 곳에서 모두 관리합니다 High Quality Capture도 함께요 Apple Vision Pro에서 바로 앱을 멋진 4K 비디오로 캡처합니다 Mac 없이도 Apple Vision Pro 내에서 바로요

visionOS의 액세서리 위젯 지원으로 Apple Vision Pro에서 앱을 확장할 수 있습니다 더 작고 한눈에 볼 수 있는 위젯으로 가장 관련 있는 정보를 표시합니다 필요한 곳에 바로요

visionOS 27에는 훨씬 더 많은 것이 있습니다 Siri 개선 사항, 새로운 아이슬란드 환경 Spatial Panoramas, Personal Environments, Freeform 업데이트 등 다양합니다 이 모든 것이 아이디어를 실현하는 더욱 강력한 도구를 제공합니다 여러분이 다음에 만들 것이 너무 기대됩니다