Apple Immersive Videoのライブプロダクションツールの作成

こんにちは "Build Live Production Tools、 for Apple Immersive Video"へようこそ。

Jared Kingです Apple Immersive Video Liveエンジニアリングチームのリードです。 Apple Immersive Videoは 非常に刺激的なメディアです ライブストリーミングにより スポーツや音楽 エンターテインメントイベントを 全く新しい方法で体験できます。

今年初め Appleは 注目すべきことを成し遂げました。 初めてファンがLA Lakersの 試合のコートサイドに転送されたのです Spectrum SportsNetとNBAアプリを通じて Apple Vision Proでライブ視聴しました。 本物の試合とアリーナを まるでそこにいるかのように体験できます。 ライブイマーシブカメラにより ファンは届かない座席へアクセスできました。 データドリブングラフィックスが 試合を盛り上げ 空間オーディオがお客様を 歓声の中に包み込みました。 舞台裏では Appleが構築した ライブブロードキャストプラットフォームが イベントを支え この独自の体験を 世界中のお客様に届けました。

私の目標は 次世代のイマーシブツールの 構築に関するインスピレーションを与えることです ワークフローとライブ体験も含めて。 ライブブロードキャスト技術は 多くの方にとって新しいかもしれません。 システムは複雑ですが この分野での構築の機会は 非常に大きいです。 適切な基盤を構築するために… まず 現代のライブプロダクション パイプラインを構成するシステムの ハイレベルな概要をご紹介し スタジオやプロダクショントラック 世界中の放送施設で使われる コンテンツ制作のクリエイティブツールも ご紹介します。 この基礎を理解することは 独自のイマーシブプロダクションツールを 構築する際に非常に役立ちます。

次に ライブイマーシブブロードキャストが 従来の2Dプロダクションと 異なる点を説明します。 お客様を自宅からイベントに 直接転送すると 全く新しい技術的課題が生じます。 メディアフォーマットやプロダクションツール ツール間でのコンテンツの移動方法も プロダクションワークフロー内で 再構築されました。 今日はまず ライブプロダクションパイプラインの トップレベルレビューから始めます。

イマーシブ向けに構築していても 従来の2Dブロードキャストであっても エンドツーエンドシステムの 基本コンポーネントを理解することは 不可欠です。

ライブプロダクションパイプラインとは 映像や音声、データが取得され 一方の端でクリエイティブに制作される プロダクションドメインというシステムで エンコードされてオーディエンスに ライブ配信されます デリバリードメインを通じて。

ブロードキャストは大規模なプロダクションで TVスタジオや放送トラックなど 多数のライブカメラを管理し スポーツやエンターテインメントイベントの 音声ソースやグラフィックスを扱います

または小規模なシステムになることもあります。 ポッドキャストスタジオや劇場 地元の音楽会場など プロダクション内でこれらの要素の 一部だけが使われる場合もあります。 いずれにせよ最終的な目標は同じで ライブコンテンツを取得し制作する プロダクションドメインと デリバリードメインでエンコードして 視聴者に送信します リアルタイムでオーディエンスに イベントを配信します。 焦点を絞るために プロダクションドメインをユニークにする 点に主に集中します イマーシブライブの構築時における。 規模に関わらず ほとんどのライブパイプラインは ワークフロー内で同じクリエイティブツールを 多く使用します 量と洗練さにおいてスケールされるだけです プロダクションのレベルに応じて。

ライブカメラはシーンやイベントの 映像を取得するために使われます。 プロダクションでは複数のカメラが 使われることが多く 異なるアングルや視点を捉えるためです。

たとえばこのプロダクションでは こちらがカメラ1です。 こちらがカメラ2です。 そしてこちらがカメラ3です。 グラフィックスを生成して映像に合成し 追加のコンテキストを提供したり プロダクションに独自性を加えることができます。 例えば名前のようなもの ローワーサードとして表示されたり 右上に表示されるスコアボードや 複雑なビデオアニメーションです。 下のようなものです。 リプレイシステムはメディアを記録して 映像を再生するために使われ ライブプロダクションの一部として 必要なときに使われます。 またはポストプロダクションや 編集のために後で使うために アーカイブすることもできます。

これらすべての要素を組み合わせるために ビデオスイッチャーにより オペレーターはカメラを切り替え グラフィックスを重ね合わせて 視聴者が見る最終的なストリームを制作します。

音声面では マイクロフォンを使って アナウンサーやインタビュー 音楽要素などプロダクションの 音声ソースを収音します。 オーディオコンソールがこれらすべての音源を取り込みます。 それらを巧みに組み合わせて 最終的な製品に仕上げます オーディエンスが聴く「ミックス」を作り上げます。 最終的にこれらすべてのツールは 互いにメディアをやり取りする必要があります。 たとえばカメラフィードは ビデオスイッチャーの入力に接続され またはマイクロフォン音源が オーディオコンソールに送られます。 そのためにすべてのツールは 集中型メディアルーターを通じて接続し ツール間のコンテンツのやり取りを 処理します。 統合ネットワーク層と考えてください すべてのデバイスが信号を 送受信できます 互いに。 ライブプロダクションの基本を 理解したところで イマーシブではどこが異なるか 見ていきましょう そして本当のストーリーが始まります。

このフォーマットでは忠実性と臨場感 これらをワークフローのすべてのステップで 維持することが お客様をコンテンツの中に 転送する際の全てです コンテンツの中に。 それは本当に大きな数値に 変換されます。

ビデオ解像度は32倍大きく 2Dブロードキャストプロダクションで 通常使用されるものより 人間の視覚的鋭敏さに 合わせるためです 2倍のフレームレートで制作されます。 Apple Immersive Liveをサポートする オーディオミックスは 従来のステレオオーディオよりも はるかに高解像度で 5.1サラウンドサウンドよりさらに優れています。

Apple Spatial Audio Format、つまりASAFミックスは 64チャンネル以上を含むことができ オーディエンスを 豊かな空間オーディオ体験に包み込みます。 これらの大規模なフォーマットと品質要件は プロダクションパイプライン全体に 波及します。 残念ながら 従来のツールや トランスポート方法、フォーマットの全てが このスケールのメディアをサポートしているわけではありません。 そのためイマーシブライブでは 全く異なるワークフローの構築が必要です。 3つの主要なコンセプトを説明します これにより エコシステムでのツールと 新しいワークフローの構築を始められます。 まず メディアフォーマット標準です 必要な品質を提供しながら 効率的で実用的な ライブプロダクションツールの構築に適しています。 次に イマーシブコンテンツをリアルタイムで トランスポートする方法です プロダクションデバイス間で 重要な標準を通じて SMPTE 2110と呼ばれます。 最後に ライブストリームをファイルに保存して 再生することは あらゆるブロードキャストの基本的な機能です。 デバイスからのライブストリームをファイルに 保存する方法と 品質を損なわずにアプリケーション内で 再生する方法を説明します。 最初から始めましょう。

あらゆるプロダクションには 3つのクラスのデバイスがあります。 メディアを出力するデバイス たとえばカメラやマイクロフォン またはグラフィックスジェネレーターです。 メディアを入力するデバイス たとえばビデオエンコーダーや カラーグレーディングモニターです。 そして両方を行うデバイス たとえばビデオスイッチャーは 入力でカメラソースを受信して 異なるアングルを切り替えます 出力に送ります。

あらゆるワークフローで全てのデバイスは 統一されたメディアフォーマットに合意する必要があります メディアルーターを通じて コンテンツをやり取りできるよう シームレスにリアルタイムで。 共通言語のように。

そのために 3つの既存の標準が 1つのフォーマットに統合されました ライブイマーシブプロダクションをサポートするために。

Apple Immersive Live Videoは ストリームProResフレームで構成されています 通常の放送カメラに典型的な 非圧縮ビデオフレームとは異なります。

ProResは画像品質と帯域幅の 優れたバランスを持つ強力なビデオコーデックです 映像信号を実用的なサイズに削減して ツールで処理できるようにしながら ツールで処理できながら 必要な高い忠実性を維持します 画像のです。 AppleシリコンはProRes処理に 最適化されているため プロダクションツールとパイプラインを 構築するための最適なプラットフォームです。 詳細は「Apple ProRes」デベロッパドキュメントをご覧ください。

ASAFオーディオミックスは 標準的な非圧縮PCMオーディオトラックで構成され 高次アンビソニックベッドと 空間オーディオオブジェクトを含みます。

メタデータはフレームごとの JSONオブジェクトとして提供されます 関連する映像と音声フィードの 属性を説明します レンズキャリブレーション クリエイティブイベント、空間オーディオの動作 その他多くの情報を含みます。 これら3つの標準を組み合わせることで ライブイマーシブプロダクションフォーマットが定義されます。

すべてのツールとプロセスは 各メディアタイプに準拠する必要があります エコシステムの他の部分との 相互運用性を確保するために。

次に デバイスはライブ映像を交換するための 標準化されたトランスポート層が必要です 音声とメタデータフィードも デバイス間でやり取りします。 これを実現するために デバイスからのライブフィードは 個々のSMPTE 2110メディアストリームとして交換されます IP上でのプロフェッショナル メディアトランスポートの業界標準です。

「2110」として広く知られており 世界中の放送施設に 広く展開されています プロフェッショナルツールの幅広い エコシステムと相互運用可能です。 2110はマルチキャストRTPまたは リアルタイムトランスポートプロトコルを使用して ネットワーク上でメディアを移動させます。 RTPストリームはタイミング情報と ユーザーフラグを運びます その他のメタデータとともに メインのメディアペイロードの隣に。

2110ストリームは 映像または 音声またはメタデータペイロードを 送信します 各メディアタイプのトランスポートは 広範な2110仕様の中の サブ標準によって定義されます。 各モデルへのフィットを詳しく説明します。 イマーシブProResビデオは ネットワーク上でSMPTE 2110-22ストリームとして 転送されます IP上の圧縮メディアの定義済み標準です。 この2110-22フローには 左右の目の映像が含まれます イマーシブコンテンツの左右の目が 2つの別々のデータエッセンスとして送信されますが 1つのストリーム内に含まれます。 つまり各目をフレームパックする必要がなく 1つの画像ラスターに 並べて配置したり 目ごとに別々のIPストリームを 作成する必要もありません。 これは非常に有利です プロダクションアーキテクチャ内での 左右の目の映像フィードの 複雑な管理が不要になるためです。

ASAFオーディオは標準的な 2110-30ストリームとしてネットワーク上で転送されます。

これらには高次アンビソニックスと オーディオオブジェクトチャンネルが含まれ ASAF空間オーディオミックスを構成します。

JSONオブジェクトは2110-41で フレームごとに送信されます IP上でのユーザー定義メタデータ 転送の標準です。 これは重要なメタデータ情報を運びます レンズキャリブレーション クリエイティブイベント、モーションデータなど -22映像と-30音声フィードと 並行してリアルタイムで プロダクション内で。

最後に フィードを記録して編集し 再生する機能は たとえばInstant Replayは あらゆるライブワークフローの重要な部分です。

従来の2Dワークフローでは ライブビデオをファイルに記録すると 映像品質の低下が起きることがよくあります コンテンツがエンコード、デコード そして再エンコードされると 典型的なワークフローで何度も繰り返されます。 Apple Immersive Videoでは このような小さな品質の低下でも お客様の体験に大きな影響を 与える可能性があります 特に世代損失として 圧縮と解凍の複数サイクルによる 時間とともに蓄積されます。 幸いなことに これはイマーシブフォーマットで解決されています 全てがすでにProResです。

ライブメディアはファイルに適した ProResペイロードでネイティブに生成されるため ディスクへの記録には追加のエンコードや デコードステップが不要で コンテンツがワークフローを通過する際も同様です。 同じProResフレームは単純に MOVファイルに直接コピーされ 再生時にはライブ2110ストリームに 再び読み出されます — 未変更のまま。

実際にはライブコンテンツは カメラで制作できます デバイス間で転送され ディスクに記録され 編集されて繰り返し ライブで再生できます プロセス全体を通じて 品質に影響を与えることなく。

ビデオフィードをQuickTime MOVの 映像トラックに保存します AVFoundationのAVAssetWriterを使って。 結果のMOVファイルにはライブストリームと 同じ解像度、フレームレート ステレオ画像データが含まれます 編集や リプレイ、ポストプロダクションで使えます。

MOV映像トラックを書き込む際は kVTProjectionKind_AppleImmersiveVideoという 定数を設定することが重要です AVVideoCompressionPropertiesKeyに。 これは新しいVideoToolboxプロパティです 正しいvideo extended usage つまりvexuを追加します Apple Immersive Videoのための 静的メタデータをファイルに追加します 他のアプリケーションにイマーシブとして シグナリングします。

音声フィードは通常の方法で保存します 2110ストリームで運ばれる 非圧縮PCMは MOVの音声トラックに 直接書き込まれます AVAssetWriterを使って。

最後に ストリームされたJSONデータは Metadata Box Exchangeフォーマット またはMEBXトラックとして MOVコンテナにAVAssetWriterを使って書き込まれます。 保存前にストリームされたJSONデータは デシリアライズ、パースされます そしてImmersive Media Supportフレームワーク またはIMSを使って レンズキャリブレーションオブジェクトを作成します カメラIDやその他のメタデータオブジェクトが MOVに書き込まれます 映像と音声と同期して。 IMSはvisionOS 26で 初めて導入されました。 Apple Immersive Videoの 重要なメタデータの読み書きを可能にします Apple Immersive Videoの クリエイティブワークフローでコンテンツを プレビューする機能も提供します。 イマーシブビデオと音声は よく知られた技術で動いています AVFoundation VideoToolbox、Core Audioなど IMSは強力なフレームワークです Apple Immersive Video専用に 構築されています。 次世代のプロダクションツールを 構築する際には IMSは理解すべき最も重要な フレームワークの1つです。 「Immersive Media Support」デベロッパドキュメントで 詳細をご確認ください。 その後 ファイル再生シナリオでは すべてのプロセスが逆になります。 映像、音声、メタデータメディアタイプは MOV内のトラックから 直接読み取られます 2110出力ストリームに 再送信されます より広いプロダクション内での使用に向けて 同じフレームワークとライブラリを使って。

ライブイマーシブプロダクションの 基礎を理解したところで 始める絶好のタイミングです。 AVFoundationなどのフレームワークを使って 独自のイマーシブツールを構築しましょう VideoToolbox、AudioToolbox そしてImmersive Media Support。 スタックのすべての層が イノベーションのために開かれています。

2110の世界を深く探求して ツールを繋ぎ合わせて 真のライブワークフローにしましょう。 SMPTEウェブサイトを訪れてレベルアップしましょう さまざまな標準とベストプラクティスについて ネットワーク実装時に。 最後に必ず視聴してください "Learn about Apple Immersive Video technologies" および"Support immersive video playback in visionOS apps"を。 これらは貴重なコンテキストを提供します フォーマットの背後にあるクリエイティブと 技術的な原則について。

イマーシブライブの未来は 始まったばかりです。 従来のブロードキャストの 基礎の上に構築されながら 全く新しいクリエイティブと 技術的な可能性を生み出します。 そして最も優れたアイデアの多くは まだ生まれていません。 この新しいフォーマットを軌道に乗せるための 一翼を担う機会です。 次回またお会いしましょう。