Apple Immersive Video를 위한 라이브 프로덕션 도구 빌드하기

안녕하세요 "Apple Immersive Video를 위한 라이브 제작 도구 구축” 세션에 오신 걸 환영해요 저는 Jared King이고, Apple Immersive Video 라이브 엔지니어링 팀을 이끌고 있어요 Apple Immersive Video는 정말 흥미로운 미디엄이며, 라이브 스트리밍은 고객이 스포츠, 음악, 그리고 엔터테인먼트 이벤트를 경험하는 완전히 새로운 방법을 열어줘요

올해 초, Apple은 놀라운 일을 해냈어요 처음으로 팬들이 선택된 LA Lakers 경기의 코트 옆 자리로 이동했어요 Spectrum SportsNet과 NBA 앱을 통해 Apple Vision Pro로 라이브로요 진짜 경기와 경기장을 그곳에 있는 것처럼 경험했어요 라이브 몰입형 카메라가 팬들에게 닿을 수 없는 자리를 제공했어요 데이터 기반 그래픽이 경기를 더욱 풍부하게 만들었고 공간 오디오가 고객을 함성이 울리는 관중 속으로 데려갔어요 무대 뒤에서는 Apple이 구축한 라이브 방송 플랫폼이 이벤트를 지원하고 이 독특한 경험을 전달했어요 전 세계 고객들에게요

제 목표는 여러분이 다음 세대 몰입형 도구를 구축하도록 영감을 드리는 거예요 워크플로우와 라이브 경험을요 많은 분들께 라이브 방송 기술은 새로울 수 있어요 시스템은 복잡하지만 이 분야를 위해 구축할 기회는 엄청나요 올바른 기초를 다지기 위해 먼저 모던 라이브 제작 파이프라인을 구성하는 시스템에 대해 전반적으로 살펴보겠습니다 스튜디오, 제작 트럭 및 전 세계 방송 시설에서 사용되는 콘텐츠 제작에 쓰이는 크리에이티브 도구들과 함께요 이 기초를 이해하면 귀중한 도움이 돼요 여러분만의 몰입형 제작 도구를 구축하기 시작할 때요

둘째로, 라이브 몰입형 방송이 기존 2D 제작과 어떻게 다른지 다룰게요 고객을 집에서 이벤트 현장으로 직접 이동시키는 것은 완전히 새로운 기술적 도전을 가져와요 미디어 포맷, 제작 도구, 그리고 도구 간 콘텐츠 이동 방식은 제작 워크플로우 내에서 완전히 재구성됐어요 오늘은 최상위 검토부터 시작할게요 라이브 제작 파이프라인의요 몰입형이든 기존 2D 방송을 위해 구축하든 엔드-투-엔드 시스템의 기본 구성 요소를 이해하는 것은 중요해요

라이브 제작 파이프라인은 시스템이에요 영상, 오디오, 데이터가 캡처되고 한쪽에서 창의적으로 제작되는 제가 제작 도메인이라 부를 곳에서요 인코딩되어 시청자에게 라이브로 스트리밍되고 딜리버리 도메인을 통해서요

방송은 대규모 제작이 될 수 있어요 TV 스튜디오나 방송 트럭처럼 여러 라이브 카메라를 관리하고 스포츠나 엔터테인먼트 이벤트용 오디오 소스와 그래픽을 관리하는요

또는 소규모 시스템이 될 수도 있어요 팟캐스트 스튜디오, 공연장, 또는 로컬 음악 공연장처럼요 이런 요소들 중 일부만 제작에 사용될 수도 있어요 어느 쪽이든 최종 목표는 같아요 라이브 콘텐츠는 캡처되어 제작돼요 제작 도메인에서요 인코딩되어 딜리버리 도메인에서 시청자에게 전송돼요 이벤트를 시청자에게 실시간으로 방송하면서요 하지만 집중력을 유지하기 위해 주로 제작 도메인이 고유한 부분에 집중할게요 몰입형 라이브 구축 시요 규모와 관계없이 대부분의 라이브 파이프라인은 워크플로우 내에서 동일한 크리에이티브 도구에 의존해요 단순히 수량과 정교함에서만 제작 수준에 따라 달라요

라이브 카메라는 장면이나 이벤트의 영상을 캡처하는 데 사용돼요 제작에 여러 카메라를 사용하는 경우도 많아요 다양한 앵글이나 시점을 캡처하기 위해서요

예를 들어 이 제작에서 카메라 1이 여기 있어요 카메라 2예요 그리고 카메라 3이에요 그래픽은 생성되어 영상에 오버레이 될 수 있어요, 추가 컨텍스트를 위해서요 그리고 제작에 창의적인 감각을 더하기 위해서요 이름 같은 요소가 될 수 있어요 방금 lower third로 나타난 것처럼요 우측 상단에 표시되는 스코어보드나 복잡한 비디오 애니메이션이요 아래 보이는 것처럼요 리플레이 시스템은 미디어를 녹화하고 다시 재생하는 데 사용돼요 라이브 제작의 일부로 요청될 때요 또는 나중에 사용하기 위해 보관할 수도 있어요 포스트 프로덕션이나 편집에서요

이 모든 요소를 조합하기 위해 비디오 스위처는 오퍼레이터가 카메라 간 전환을 할 수 있게 해요 그래픽을 오버레이하고 시청자에게 보이는 최종 스트림을 제작해요

오디오 면에서 마이크는 아나운서, 인터뷰를 픽업하는 데 사용돼요 음악적 요소와 제작의 다른 사운드 소스도요 오디오 콘솔은 이 모든 소스를 인제스트해요 그것들을 예술적으로 결합해 최종 결과물을 만들어요 시청자가 듣는 "믹스"를요 마지막으로 이 모든 도구들은 서로 미디어를 교환해야 해요 예를 들어: 비디오 스위처 입력에 연결된 카메라 피드나 오디오 콘솔에 입력되는 마이크 소스요 그렇게 하기 위해 모든 도구는 중앙화된 미디어 라우터를 통해 연결돼요 도구들 간 콘텐츠 교환을 처리하는요 통합 네트워크 레이어라고 생각하세요 모든 기기가 신호를 보내고 받을 수 있는 서로에게요 이제 라이브 제작의 기본을 파악하셨으니 몰입형에서 차이가 생기기 시작하는 곳으로 가볼게요 진짜 이야기가 시작되는 곳으로요

이 포맷에서는 충실도와 현장감, 워크플로우의 모든 단계에서 이것들을 보존하는 것이 고객을 콘텐츠 안으로 이동시킬 때는 전부예요 콘텐츠 안으로요 그것은 정말 큰 숫자로 나타나요

비디오 해상도는 32배 더 커요 일반적인 2D 방송 제작에서 사용되는 것보다요 인간의 시각 예민도에 맞추기 위해서요 그리고 두 배의 프레임 레이트로 제작돼요 Apple Immersive Live를 지원하는 오디오 믹스는 기존 스테레오 오디오보다 훨씬 더 고해상도예요 5.1 서라운드 사운드보다도요

Apple Spatial Audio Format, 즉 ASAF 믹스는 64개 이상의 채널을 포함할 수 있어요 시청자를 몰입시키기 위해 풍부한 공간 오디오 경험 속에요 이 방대한 포맷과 품질 요구사항은 파이프라인의 모든 부분에 영향을 미쳐요 제작 파이프라인의요 안타깝게도 모든 기존 도구, 전송 방식, 포맷이 이 규모의 미디어를 지원하지는 않아요 그래서 몰입형 라이브는 완전히 다른 워크플로우를 구축해야 해요 에코시스템에서 도구와 새로운 워크플로우를 구축할 수 있도록 세 가지 핵심 개념을 설명할게요 첫째, 필요한 품질을 제공하도록 설계된 미디어 포맷 표준이에요 효율적이고 실질적으로 유용하게요 라이브 제작 도구 구축 시요 둘째, 실시간으로 몰입형 콘텐츠를 전송하는 방법이에요 제작 기기 간에 중요한 표준인 SMPTE 2110을 통해서요 마지막으로 라이브 스트림을 파일로 저장하고 다시 재생하는 것은 방송 내 기본 기능이에요 기기의 라이브 스트림을 파일에 저장하는 방법을 설명할게요 앱 내에서 품질 저하 없이 다시 재생할 수 있도록요 최상위부터 시작할게요 모든 제작 내에서 세 가지 종류의 기기가 있어요 미디어를 출력하는 기기: 카메라, 마이크로폰, 또는 그래픽 생성기요 미디어를 인제스트하는 기기, 예를 들어 비디오 인코더나 컬러 그레이딩 모니터요 그리고 둘 다 하는 기기요 예를 들어 비디오 스위처는 입력으로 카메라 소스를 받아 다른 앵글을 방송으로 전환하고 출력으로 내보내요

모든 워크플로우에서 모든 기기는 통합된 미디어 포맷 세트에 동의해야 해요 미디어 라우터를 통해 서로 콘텐츠를 교환할 수 있도록 실시간으로 원활하게요 공통 언어처럼요

그렇게 하기 위해 세 가지 기존 표준이 하나의 포맷으로 결합됐어요 라이브 몰입형 제작을 지원하기 위해서요

Apple Immersive Live Video는 완전히 스트리밍된 ProRes 프레임으로 구성돼요 일반 방송 카메라의 비압축 비디오 프레임과 달리요

ProRes는 탁월한 균형을 달성하는 강력한 비디오 코덱이에요 이미지 품질과 대역폭 사이의요 비디오 신호를 실용적인 크기로 줄여요 도구에서 처리할 수 있도록 하면서도 높은 충실도를 유지해요 이미지의요 Apple Silicon은 ProRes 처리에 최적화되어 있기 때문에 제작 도구와 파이프라인을 구축하기 최적의 플랫폼이에요 더 자세한 내용은 "Apple ProRes" 개발자 문서를 참고하세요

ASAF 오디오 믹스는 표준 비압축 PCM 오디오 트랙으로 구성돼요 고차 앰비소닉 베드와 공간 오디오 오브젝트를 담고 있어요

메타데이터는 프레임당 JSON 오브젝트로 전달돼요, 요소들을 포함해서 관련 비디오 및 오디오 피드의 속성을 설명하는요 렌즈 보정, 크리에이티브 이벤트, 공간 오디오 동작, 그리고 훨씬 더 많은 것들이요 이 세 가지 표준이 함께 라이브 몰입형 제작 포맷을 정의해요

모든 도구와 프로세스는 각 미디어 타입을 준수해야 해요 에코시스템의 나머지와 상호 운용성을 보장하기 위해서요 다음으로, 기기들은 라이브 비디오를 교환하기 위한 표준화된 전송 레이어가 필요해요 오디오와 메타데이터 피드를 기기 간에요 이를 위해 기기의 라이브 피드는 교환돼요 개별 SMPTE 2110 미디어 스트림으로요 IP를 통한 전문 미디어 전송의 업계 표준으로요

일반적으로 "2110"으로 알려진 이것은 전 세계 방송 시설에 광범위하게 배포되어 있고 광범위한 전문 도구 에코시스템과 상호 운용 가능해요 2110은 멀티캐스트 RTP, 즉 실시간 전송 프로토콜을 사용해요 네트워크를 통해 미디어를 이동시키기 위해서요 RTP 스트림은 타이밍 정보와 사용자 플래그를 전달해요 그리고 다른 메타데이터와 함께 메인 미디어 페이로드도요

2110 스트림은 비디오, 오디오, 또는 메타데이터 페이로드를 전송해요 각 미디어 타입의 전송은 더 광범위한 2110 사양 내 서브 표준으로 정의돼요 각각이 어떻게 그 모델에 맞는지 설명할게요 몰입형 ProRes 비디오는 네트워크에서 2110-22 스트림으로 전송돼요 IP를 통한 압축 미디어를 위한 정의된 표준이에요 이 2110-22 플로우에는 왼쪽과 오른쪽 눈 모두 두 개의 별도 데이터 에센스로 전송되는 몰입형 콘텐츠가 포함돼요 단일 스트림 내에 포함되지만요 즉, 각 눈을 프레임 패킹할 필요가 없어요 단일 이미지 래스터에 나란히요 또는 눈당 별도의 IP 스트림을 생성할 필요도 없어요 이것은 매우 유리해요 독립적인 좌우 눈 비디오의 복잡한 관리를 없애주기 때문이에요 제작 아키텍처 내에서요

ASAF 오디오는 표준 2110-30 스트림으로 전송돼요

이것은 고차 앰비소닉스와 오디오 오브젝트 채널을 포함해요 ASAF 공간 오디오 믹스를 구성하는요

JSON 오브젝트는 2110-41을 통해 프레임당 전송돼요 IP를 통한 사용자 정의 메타데이터 전송을 위한 표준이에요 이것은 중요한 메타데이터 정보를 전달해요 렌즈 보정, 크리에이티브 이벤트, 모션 데이터 같은요 -22 비디오 및 -30 오디오 피드와 함께 실시간으로요 제작 내에서요 마지막으로, 피드를 녹화하고 편집하는 기능, 그리고 다시 재생하는 기능은 예를 들어 Instant Replay는 모든 라이브 워크플로우의 핵심이에요

기존 2D 워크플로우에서 라이브 비디오를 파일로 녹화하면 시각적 품질 손실이 발생하는 경우가 많아요 콘텐츠가 인코딩, 디코딩, 그리고 여러 번 재인코딩되기 때문이에요 일반적인 워크플로우 전반에 걸쳐요 Apple Immersive Video에서 이런 작은 품질 저하도 고객 경험에 크게 영향을 줄 수 있어요 특히 세대적 손실로요 압축과 압축 해제의 여러 사이클로 인한요 시간이 지남에 따라 누적되는요 다행히, 이것은 몰입형 포맷으로 해결돼요 모든 것이 이미 ProRes니까요

라이브 미디어는 파일 친화적인 ProRes 페이로드로 기본 생성되기 때문에 디스크에 녹화할 때 추가적인 인코딩이나 디코딩 단계가 필요 없어요 콘텐츠가 워크플로우를 이동하면서요 동일한 ProRes 프레임이 MOV 파일로 직접 복사되고 플레이아웃 시 라이브 2110 스트림으로 다시 읽혀요 — 그대로요

실질적으로, 라이브 콘텐츠가 카메라에서 제작될 수 있다는 의미예요 기기 간에 전송되고 디스크에 녹화되고 편집되고 반복해서 라이브로 재생돼요 전체 과정에서 품질에 아무 영향 없이요

비디오 피드를 QuickTime MOV 비디오 트랙에 저장하세요 AVFoundation의 AVAssetWriter를 사용해서요 결과로 생성된 MOV 파일에는 동일한 해상도, 프레임 레이트, 그리고 라이브 스트림과 동일한 스테레오 이미지 데이터가 포함돼요 편집에서 사용할 수 있는 파일로 저장되어요 리플레이나 포스트 프로덕션에서요

MOV 비디오 트랙을 쓸 때 kVTProjectionKind_AppleImmersiveVideo 상수를 설정하는 게 중요해요 AVVideoCompressionPropertiesKey에요 이것은 새로운 VideoToolbox 프로퍼티예요 올바른 비디오 확장 사용, 즉 vexu를 추가해요 Apple Immersive Video를 위한 정적 메타데이터를 파일에요 다른 앱에 몰입형으로 신호를 보내면서요

오디오 피드는 일반적인 방법으로 저장하세요 2110 스트림에서 전달되는 비압축 PCM은 MOV의 오디오 트랙에 직접 써요 AVAssetWriter를 사용해서요

마지막으로, 스트리밍된 JSON 데이터는 메타데이터 박스 교환 포맷에 써요 즉 MEBX 트랙에요, AVAssetWriter를 사용해 MOV 컨테이너 내에서요 저장 전에 스트리밍된 JSON 데이터는 역직렬화되고 파싱돼야 해요 그런 다음 Immersive Media Support 프레임워크, IMS라고도 불리는 것이, 렌즈 보정 오브젝트를 생성하는 데 사용돼요 카메라 ID와 MOV에 쓰이는 다른 메타데이터 오브젝트도요 비디오 및 오디오와 동기화해서요 IMS는 visionOS 26에서 처음 도입됐어요 Apple Immersive Video의 필수 메타데이터를 읽고 쓸 수 있게 해요 Apple Immersive Video를 위해서요 크리에이티브 워크플로우에서 콘텐츠 미리보기 기능도 제공해요 몰입형 비디오와 오디오는 이미 잘 알려진 기술로 구동되지만 AVFoundation, VideoToolbox, Core Audio처럼요 IMS는 강력한 프레임워크예요 Apple Immersive Video를 위해 전용으로 구축된요 다음 세대의 제작 도구를 구축하면서 IMS는 이해해야 할 가장 중요한 프레임워크 중 하나예요 "Immersive Media Support" 개발자 문서를 확인해 더 자세히 알아보세요 그런 다음, 파일 재생 시나리오에서 모든 과정이 역전돼요 비디오, 오디오, 메타데이터 미디어 타입은 MOV 내 해당 트랙에서 직접 읽혀요 2110 출력 스트림으로 다시 전송돼요 더 넓은 제작에서 사용하기 위해요 동일한 모든 프레임워크와 라이브러리를 사용해서요

라이브 몰입형 제작의 기초를 이해하셨으니 시작하기에 완벽한 시간이에요 AVFoundation 같은 프레임워크를 사용해서 여러분만의 몰입형 도구를 구축하세요 VideoToolbox, AudioToolbox, 그리고 Immersive Media Support요 스택의 모든 레이어가 혁신을 위해 열려 있어요

2110의 세계에 더 깊이 들어가서 도구를 연결해 진정한 라이브 워크플로우를 만들어 보세요 SMPTE 웹사이트를 방문해 레벨업하세요 다양한 표준과 모범 사례에 대해 더 알아보기 위해서요 네트워크 구현 시요 마지막으로, 꼭 시청하세요 "Apple Immersive Video 기술 알아보기" "visionOS 앱에서 몰입형 비디오 재생 지원"도요 함께, 풍부한 컨텍스트를 제공해요 포맷 뒤의 크리에이티브와 기술적 원칙에 관한요

몰입형 라이브의 미래가 막 시작됐어요 기존 방송의 기초 위에 구축되지만 완전히 새로운 크리에이티브와 기술적 가능성을 가져와요 그리고 아직 발명되지 않은 최고의 아이디어들이 많아요 이 새로운 포맷을 시작의 일부가 될 기회예요 그리고 방송에 올릴요 다음에 또 만나요