visionOS 27による次世代の体験の構築

こんにちは Normanです Vision Products Groupの ディレクターです。 このセッションでは 次世代体験を構築する visionOS 27の強力な 新しい方法を紹介します。 この1年を振り返ると みなさんがプラットフォームで 作り上げたものに圧倒されました。 YouTubeのようなアプリが 世界クラスのコンテンツを リビングルームで提供しています。 ValveはSteam Linkを Apple Vision Proに導入し 2DのMacやPCゲームを無限の キャンバスでシームレスにストリームできます。 Resolution Gamesは クラシックな体験を再体験する 新しい方法を 生み出しています。 KiaやInnoactiveのような企業が Autodesk VREDや Nvidia CloudXR SDKと 新しいFoveated Streamingフレームワークを使って 次世代の車両設計に活用しています。 Laminar Researchは プロのデジタルと物理的な世界を 融合させ X-Planeで強力なイマーシブな トレーニングソリューションを提供しています。 これらの体験の実現は 始まりに過ぎません。 みなさんが共有してくれた インサイトは非常に貴重でした。 フィードバックはvisionOSの 未来を形作り続け リリースする機能を導き 次世代コンピューティングを 加速させています。 今日 人々は単に 速く作業するだけでなく 全く新しい体験と ワークフローを創り出しています。 これらのブレークスルーを 可能にするために Apple Vision Proの最新世代は M5チップを搭載しています。 リアルタイムレンダリングのための デスクトップクラスの演算を提供します。 超高解像度ディスプレイは 1つの目に4K超のピクセルを提供し 驚異的な視覚的精度を実現します。 システムは90Hzで 手の動きを追跡し 高い反応性と低遅延の コントロールを実現します。 Appleエコシステム全体との 深い統合により アプリとゲームが全Appleデバイスで シームレスに繋がります。

強力なハードウェアと プラットフォーム機能に加えて visionOSはアプリのコンテンツを レンダリングする複数の方法を提供します。 共有スペースでは アプリをウインドウや ボリュームでレンダリングできます。 体験を他のアプリと 同時に共存させられます。 無限のキャンバスで ワークスペースを整理でき 生産性を次のレベルに 高められます。 またはイマーシブスペースを起動して アプリを独占的に実行し 視野内のどこにでも2Dと3Dコンテンツを レンダリングできます。

イマーシブスペースでは コンテンツが物理的な世界と 融合します。 3つのイマーシブスタイルから 選択できます。 Mixedイマーシブスタイルでは 3Dオブジェクトを現実の環境に アンカーできます。 テーブルにオブジェクトを 置くようなことが可能です。 Progressiveスタイルでは 利用者が自分に合った イマーシブのレベルを 調整できます。 またはFull Immersionを有効にして 完全な仮想世界へ 移送することもできます。 これらのシーンタイプはコンテンツに イマーシブのスペクトルを提供します。

visionOSで体験を構築する際は ワークフローに応じて 3つの主なパスから 選択できます。 最初のパスは既存の iOSまたはiPadOSアプリ向けです。 iPadやiPhoneでアプリや ゲームを動かしている場合 おそらくApple Vision Proで すぐに動作できます。 コードへの変更は最小限で済みます。 互換性はプラットフォームに 素早く参入する最もシンプルな方法です。 App Store Connectで チェックボックスをオンにするだけです。 またはiOSまたはiPadOSアプリを visionOS向けに再コンパイルし Xcodeの設定にvisionOSを デプロイメントターゲットとして追加します。 これら両方のパスは 摩擦の少ない方法で visionOSに体験を 持ち込めます。

2番目のパスは空間コンピューティング向けに 一から設計されたアプリです。 これにより体験が 人々の環境にシームレスに融合し 反応できます。 この分野には2つの選択肢があります。 ネイティブフレームワークを使って プラットフォーム向けに構築する方法 SwiftUI RealityKitなどを使い Reality Composer Proなどの ツールを使うものです あるいはCompositorServicesで独自の カスタムレンダリングエンジンも使えます。 またはUnity Unreal Godotのような サードパーティゲームエンジンを好む場合 これら全てがvisionOSを プラットフォームとしてサポートしています。 これらの選択肢に加えて 3番目のパスを紹介します。 既存の体験を持ち込む 方法を提供するもので macOSやPCから visionOSへと移行できます。

空間コンテンツをレンダリングする Macアプリがある場合 visionOS 27はSpatial Previewフレームワークという 強力な新ツールを追加します。 Macから画像 ドキュメント 3Dコンテンツを拡張でき Apple Vision Proに 直接表示できます。 PCから3D体験を持ち込む場合は Foveated Streamingフレームワークで ネイティブの空間コンテンツを表示しながら ストリームコンテンツと 並べられます。 例えば フライトシミュレーターの クルーが詳細なコックピットをレンダリングし ネイティブレンダリングのフレームワークである RealityKitを使用しながら リモートコンピュータからプロセッサ 集約型の景観をストリームしました。 これら両方の技術については このセッションの後半で詳しく説明します。 これらのパスを合わせることで 柔軟性が得られ visionOS向けの素晴らしい体験を 構築できます。 どこから始めても構いません。 これらのパスの最新アップデートを いくつかご紹介します。 まずRealityKitと Reality Composer Proの新機能を説明します。 豊かな3D体験を実現するための 加速されたワークフローです。

Unity Unreal Godotなどの サードパーティゲームエンジンのアップデートも紹介します。

次にSpatial Previewを説明します。 3Dコンテンツを拡張する機能で MacアプリからvisionOSの イマーシブな世界に広げます。

新しいFoveated Streamingフレームワークも 紹介します。 イマーシブコンテンツを PCやクラウドインスタンスから ストリームできます。

コンテンツとインタラクションする 素晴らしい新しい方法も紹介します。 最後にイマーシブメディアパイプラインの アップデートをご紹介します。 Apple Vision Proでより魅力的な ストーリーを伝えられます。

RealityKitとReality Composer Proの アップデートから始めましょう。 RealityKitはvisionOS最高の ネイティブ体験を支える レンダリングエンジンです。 Reality Composer Proでは コンテンツをビジュアルで制作でき エディタを離れずにデザイン 反復 プレビューが可能です。 visionOS 27ではこの2つを さらに緊密に連携させます。 RealityKitで高品質でインタラクティブな 空間体験を構築でき 現実の世界と シームレスに融合します。 visionOS 27はRealityKitに 強力な新機能を追加し 体験をより一層 イマーシブにします。 いくつか見てみましょう RealityKitの新しい物理スペースライティングは バーチャルライティングと現実世界を 融合させイマーシブ感を高めます。 こちらはバーチャルの プラネタリウムプロジェクターで RealityKitで構築されています。 星や星雲が空間に輝き プロジェクターが回転すると 光は全ての面に シームレスに適合します。 星や星雲は新しい Projective Textures APIで実現され スポットライトに テクスチャを追加できます。 この機能でステンドグラスの 投影などの 水中コースティクスといった 印象的な効果をシミュレートできます。 次にRealityKitの強力な 新機能Cloth Simulationを見てみましょう。 バーチャルのマネキンが 流れるようなドレスを着ています。 非常にリアルに シミュレートされた衣服です。 マネキンが歩くと 布が自然に動いてたわみ 全てリアルタイムで レンダリングされています。 同じシミュレーションがバーチャルの ベッドカバーにも適用されます。 引っ張ると布はリアルな 重さとたわみで反応します。 RealityKitは視覚的な リアリズムにとどまりません。 新しいCustom Reverb Meshで 同じ本物らしさを空間 オーディオにも実現します。 博物館で演奏する バーチャルバンドを見てみましょう。 RealityKitでは音が 正面から聞こえるだけでなく あらゆる方向から 空間を満たします。 リバーブシステムは音がどのように 吸収 散乱するかを正確にシミュレートし ホールの木材 金属 石による響きが バーチャル世界をより豊かにし よりリアルな存在感を 生み出します。 RealityKitのもう1つの 強力な新機能はGaussian Splattingです。 こちらは小さな鉢植えで 3D Gaussian splatとして スキャンしてレンダリングされています。 土のテクスチャに至るまで 全ての詳細が表現されています。 RealityKitで 現実世界のオブジェクトをスキャンし バーチャル体験に 直接持ち込めます。 手でモデリングが難しいオブジェクトを キャプチャするのに最適で 非常にリアルな世界を 構築できます。 RealityKitに追加される 機能についての詳細は 「Explore advances in RealityKit」 セッションをご覧ください。 RealityKit APIで印象的でインタラクティブな 3Dコンテンツを作成できますが そのコンテンツを まとめるプロセスは Reality Composer Proで 大幅に強化されています。 大規模な更新で新しいツールと 機能を追加し 高速でAI搭載の 共同作業ワークフローを実現する 新しいReality Composer Pro 3で Xcodeを常に開かずとも 速く進められます。 新しいReality Composer Proには 多数の 新機能があり ワークフローを変革します。 これらの新機能をいくつか ご紹介します。 Reality Composer Pro Assistant Animation Graphや Script Graphと Navigation Meshesなどです。 まずReality Composer Pro Assistantから始めます。 クリエイティブワークフローに AI機能を統合し エディタ内で 利用できます。 AIアシスタントが どのように使われるかの例です。 ドライフルーツの盛り合わせを生成し シーン内の既存の空のボウルに 配置しています。

3Dキャンドルまで生成して テーブルに配置しました。 Reality Composer Pro Assistantに 欲しいものを説明すると 詳細なテクスチャとマテリアルを持つ 3Dモデルを生成し シーンに配置できます。 最終的なゲームアセットが揃う前に ストーリーを始める素晴らしい方法で 出荷前の段階でも 活用できます。 最終アセットと アニメーションが揃ったら Reality Composer Proの Animation Graphで 状態間のトランジションを 制御できます。 ステートマシンでアイドルと 歩行状態のトランジションが簡単です。 ランタイムで エディタでトランジションを ライブで可視化できます。 キャラクターが環境を ナビゲートするために 障害物を回避しながら ナビゲーションメッシュを 生成して調整できます。 Reality Composer Pro内で 直接行えます。 自動生成されたメッシュ（青で表示） から始め ジャンプなどの 追加機能を加えます。 はしごや障害物を追加して コースを完成させます。 これらを接続してシーンを インタラクティブにするには Reality Composer Proの Script Graphが役立ちます。 Script Graphでタップなどの イベントをキャッチするノードを追加し キャラクターの移動先を 制御できます。 Apple Vision Proでライブプレビューしながら リアルタイム編集ができます。 Xcodeを開かずに行えます。

これで全てが整い キャラクターが 障害物を避けながら 目的地に向かい 歩く 走る 登るなどの アニメーションを使いこなします。 Reality Composer Proの ノードベースエディタScript Graphで ビジュアルワークフローを離れずに ロジックを構築できます。 Devs United Gamesが少数のノードで Aquascapeキャラクターをアニメートし シーンに登場させています。 魚が環境を泳ぐと アニメーションの再生速度が 正確な速度に合わせて 調整されます。 Reality Composer Proの Shader graphマテリアルも 大幅なアップグレードを 受けています。 昨年 システム環境を 導入しました。 木星の衛星Amaltheaを 特集したもので サブサーフェス散乱効果を 月面の氷を驚くほどリアルに 見せるものです。 Reality Composer Pro 3は サブサーフェス散乱を Shader Graphで公開し 同様の効果を自分のシーンに 適用できます。 追加のShader graph機能により キャラクターにリアルな肌 目 髪を 作成できます。 ポータルの異次元的な 外観まで表現できます。 Reality Composer Pro 3には まだまだ多くの機能があります。 Prototypes Behavior Trees Compute Graphsなどを含む カスタムScript graphノードも 追加されています。 詳しくはこれらのセッションを ご覧ください。

RealityKitやSwiftUIのような ネイティブフレームワークは visionOSとの最も深い統合を実現します。 他のエンジンでゲームを 構築済みの場合でも Unity Unreal Godotなら Apple Vision Proへの移行が これまで以上に簡単です。 UnityはvisionOSの最初のリリースから 互換性があります。 Unityで作られた LEGO Builder's Journeyは ボリュームで動作しています。

Unity Proライセンスをお持ちの場合 UnityゲームをvisionOSに 持ち込めます。 Unityで作られたウインドウゲームは RealityKitでネイティブレンダリングを使用します。 visionOSのイマーシブゲームは RealityKitか CompositorServiceフレームワークで レンダリングニーズに応じて実現できます。 空間アクセサリをサポートする プラグインをリリースしました。 PSVR 2 Sense controllerなどに対応し Unityアプリやゲームの タクタイルインタラクションをデザインできます。

Unreal Engineも イマーシブモードで利用できます。 GlassbreakersのデベロッパPolyarcが UnrealエンジンゲームをApple Vision Proに移植し static foveationで視覚的に 明らかにシャープになっています。 Blender StudiosのDogWalkなど Godotで構築されたゲームも Apple Vision Proで動作します。 CompositorServicesを通じた Godotレンダリングのサポートも追加し RealityKitでのレンダリング用 プラグインも提供しています。 PHASEオーディオプラグインも 公開しました。 GodotゲームがAppleの 空間オーディオを活用できます。 これらのゲームエンジンプラグインは GitHubページからダウンロードできます。

visionOSはカスタムレンダリングエンジンで 構築された体験もサポートします。 CompositorServiceフレームワークで 独自エンジンをシステムに接続し コンテンツをイマーシブスペースで 直接レンダリングできます。 サポートされるゲームエンジンの 概要でした。 次はMacコンテンツを 無限のキャンバスに拡張することについて Spatial Previewフレームワークを使って Apple Vision Proで実現する方法を説明します。

Mac仮想ディスプレイは ワークスペースを変革し ヘッドセットをかけたまま どこでも完全なプライバシーで Macの作業ができます。 visionOS 27ではこの機能を さらに発展させます。 Spatial Previewで。 これは空間コンテンツを プレビューできる新しいmacOSフレームワークで MacからApple Vision Proに 直接表示できます。 SharePlayで他の人と 共同作業もできます。 visionOSアプリを構築せずに 全て実現できます。 visionOS上のQuick Lookを活用して コンテンツをすぐに プレビューして更新でき 空間写真や Apple immersive videoなどを USDで3Dコンテンツを ライブ編集もできます。

3Dシーンを自由に 動き回り コンテンツの配置を調整し

マテリアルオーバーライドを変更し アノテーションでフィードバックを 共有でき 全て空間環境で行えます。 リアルタイムのアセット編集で Cinema4DやSketchUpのようなアプリが クリエイティブプロセスを変革し リアルタイムの共同3Dワークフローを 実現します。 同じ場所で作業していても 地球の反対側にいても。

この機能はmacOS 27の プレビューに直接組み込まれており ユーザーはすぐにこの 強力な機能を体験できます。 プレビューに新しい3D編集ツールも追加し 3Dコンテンツを扱うことを 画像やPDFと同じくらい 簡単にします。

詳しくは「Discover the Spatial Preview framework」 セッションをご覧ください。 Spatial Previewフレームワークは Macのイマーシブコンテンツを visionOSにストリームする 優れた方法です。 次にPCのイマーシブコンテンツを プラットフォームに持ち込む新しい方法 Foveated Streamingをご紹介します。 Foveated StreamingはApple Vision Proが 外部デバイスに接続できるようにし PCなどへ OpenXRコンテンツをストリームします。 visionOSが手の動きや コントローラーの位置などの入力データを自動送信し マイクも送信します。 デバイスがビデオとオーディオなどの OpenXRコンテンツをストリームし ネイティブアプリと同様の 完全なイマーシブ体験を提供します。 Foveated Streamingは visionOS 26.4でリリースされ すでに素晴らしい体験を 実現しています。 Laminar ResearchのX-Plane 12は 最高クラスのフライトシミュレーション 体験を提供しています。 visionOSのX-PlaneアプリはARKitで スペースと機器を認識し PCからシミュレーションを ストリームします。 物理的なフライトシミュレーターで 操縦しながら 仮想世界に完全没入できます。 Apple Vision Proだけが実現できる 統合された体験です。

PCのモータースポーツレーシングゲームiRacingも Apple Vision Proにストリームします。 Foveated Streamingを使用して。 iRacing Connectアプリが 物理的なレーシングホイールの位置を合わせ バーチャルコックピットに対応させます。 ARKitの正確なトラッキングで これが実現します。 イマーシブで爽快な 体験を提供します。

InnoactiveもAutodesk VREDを Apple Vision Proに対応させ デザイナーが大規模な高品質モデルを レイトレーシングで可視化できます。 1:1のスケールで。 PCベースのレンダリングが SwiftUIとシームレスに組み合わさり 高度なストリーミングアプリを 素早く直感的に構築できます。 先進的なテクノロジーを使用するため 品質は非常に高く ビデオストリームを最適化しています。 Foveated Streamingはビデオを 賢く圧縮し 視線の方向に応じて処理します。 焦点の当たった領域は 高品質でストリームされ 周辺視野の領域は 帯域幅を抑えます。 非常に素早くシームレスに処理されるため 全く気づきません。 ストリーミングプロトコルは NVIDIA CloudXRを基盤にしています。 これはトップクラスのストリーミング技術で 高品質と低遅延を提供します。 CloudXRはWi-Fi経由の ストリームに十分な性能を持ち ドングルやケーブルは不要です。 ローカルPCでも クラウドインスタンスでも使えます。

非常に使いやすいのも特徴です。 わずか1日で OpenXRアプリケーションの ストリームを開始し Apple Vision Proで動作できます。 1週間でアプリケーションを強化して visionOSならではの 機能を追加できます。 詳しくはFoveated Streamingの 専用セッションをご覧ください。 これがApple Vision Proに コンテンツを持ち込む様々な方法です。 次に visionOSでコンテンツとインタラクションする エキサイティングな新しい方法を 見てみましょう。 まずオブジェクトトラッキングの 強化から始めましょう。

visionOS 2.0で オブジェクトトラッキングを導入しました。 物理オブジェクトを バーチャルアンカーに変換できます。 オブジェクトをトラッキングするには USDZモデルから始め Mac上のCreate MLで リファレンスオブジェクトをトレーニングします。 そのリファレンスオブジェクトを オブジェクトトラッキングAPIに渡すと アプリが位置情報の更新を受け取り 物理オブジェクトの向きも取得できます。 イマーシブな空間体験を 実現します。 オブジェクトトラッキングが 高フレームレートトラッキングをサポートし アプリにポーズの更新を より頻繁に提供します。 オブジェクトが空間を 移動する際にです。 Create MLに 拡張トレーニングオプションを追加し 精度と堅牢性が向上します。 特に手に持ったオブジェクトに 対して効果的です。 メトリック空間でのオブジェクトポーズを 取得する新しいAPIがあり ディスプレイ補正なしで 取得できます。 空間計測のユースケースが可能になり 高精度ポーズが必要な場合に対応します。 これらの機能は visionOSとiOSの両方で利用できます。 オブジェクトトラッキングの強化で 動的な体験を作成でき 人々がオブジェクトを手に取り 操作する際に瞬時に反応します。 物理的な世界で。

例えば 物理的なスペースを 正確にトラッキングして計測でき この医療プローブのような 手持ちアイテムを使って。 外科ナビゲーショントレーニングなどの ユースケースが可能になります。 iOSにオブジェクトトラッキングを 導入するためARKit APIをリリースします。 visionOSと同じ機能を サポートします。 Create MLのMLモデルトレーニングは プラットフォームに依存しない設計です。 リファレンスオブジェクトを 作成すれば iOSとvisionOSアプリの 両方で使用でき 同じレベルの トラッキング品質が得られます。 オブジェクトトラッキングAPIについての 開発の詳細は WWDC24セッションを視聴するか ドキュメントをご確認ください。

オブジェクトトラッキングは 通常のオブジェクトに最適ですが visionOSは空間アクセサリも サポートします。 visionOS 26では最初の 空間アクセサリを導入しました。 Logitech MuseとPSVR2 Sense controllerです。 これらのデバイスは空間トラッキングや ボタン入力 触覚フィードバックを通じて アプリに新しいレベルの インタラクティブ性とイマーシブ感をもたらします。 Game Controllerフレームワークを使って接続し RealityKitや ARKitで各アクセサリの動きと向きを 空間でトラッキングできます。 visionOS 27では対応を拡張し 独自のアクセサリを 構築できるようになります。 空間アクセサリは電子デバイスで 以下のコンポーネントを持つ ボードを内蔵しています。 Apple Vision Proに見えるLEDの配列が トラッキングに使われます。 向きと加速度を取得するIMUと アクセサリに搭載されています。 そしてApple Vision Proに信号を送る Bluetoothチップ。

空間アクセサリには さまざまな入力を搭載でき ボタン タッチパッドなど 触覚フィードバックも含まれます。 任意のオブジェクトを 互換空間アクセサリに変換できます。 これらのコンポーネントを 取り付けるだけで。

開始をサポートするため DFRobotやMikroEなどのメーカーが 市販のリファレンスハードウェアと 開発キットをリリースします。 今年後半に。 カスタム空間アクセサリ入力を 組み込む良い出発点になります。 visionOSアプリに。 例えば これは 3Dプリントされた懐中電灯で DFRobot seeMote Capが 取り付けられています。 低遅延トラッキングにより 投射されるバーチャルライトは 完全に自然に見え 周囲の物理的な壁に映ります。 物理的な懐中電灯が動くと バーチャルビームも 滑らかに正確に追従します。 もう1つの例として MikroE Spatial Anchor R1が 物理的なステアリングホイールの 内部に取り付けられ デジタル車両を シームレスにアンカーしています。 ホイールを握ると 車内にいるような感覚になります。 イマーシブなレーシングシミュレーションなどの ユースケースが可能になります。 車両インテリアデザインにも活用できます。 Apple Vision Proはこれらのデバイスを 最高の周波数でトラッキングし 極めて低遅延で ディスプレイのネイティブリフレッシュレートに 合わせた シームレスな体験を実現します。 高速な動きが必要な ユースケースをサポートします。 空間アクセサリは 堅牢にトラッキングを続け 一時的に遮られても機能します。 低照度条件でも トラッキング可能です。 最後に 物理ボタンと触覚機能により 体験を さらにインタラクティブで イマーシブにできます。

カスタム空間アクセサリの 統合についての詳細は 空間体験への組み込みについて 「Explore enhancements to visionOS object tracking」 セッションをご覧ください。

次にイマーシブメディア体験を visionOSに持ち込む ワークフローについて説明します。 visionOSは多くの空間および イマーシブビデオ形式をサポートしますが Apple Immersive VideoつまりAIVは 最高品質のイマーシブビデオ体験で visionOSで利用できます。 非常に広い視野角を持ち 完全なイマーシブオーディオが その場にいるような体験を提供します。 これはビデオメディアエンジニアリングの 根本的な進歩で 高解像度 高フレームレートの ステレオスコピック180度キャプチャに基づき 前例のない精度と 立体的な正確さを提供します。 Apple Immersive Videoは ビデオオンデマンドと visionOSでのライブ放送ストリーミングを サポートします。 このような高品質な体験を実現するには 厳しい仕様を満たす ビデオが必要です。 現実世界のステレオスコピックスケールは メタデータ駆動のレンズ補正によって維持され 再生中に正確な プロジェクションを提供します。 ビデオは毎秒90フレームで キャプチャおよびストリームされ 人間の視力に近い精度で 1フレームあたり100メガピクセル超です。 毎秒100億ピクセル超になります。 この膨大なビデオを処理するために AIVにはプロダクションの 成長するエコシステムがあり ポストプロダクションツールも含まれます。 業界をリードする放送ハードウェアと iOSとmacOS visionOS向けのソフトウェアで 利用できます。 これらのツールの多くは みなさんのようなデベロッパが Immersive Media Supportフレームワーク つまりIMSで構築しました。 IMSはApple Immersive Videoの リッチメタデータの読み書きを可能にし イマーシブコンテンツの制作と 編集をサポートします。 IMSをアプリに統合する方法は これらのセッションをご覧ください。 「Learn about Apple Immersive Video technologies」と 昨年の「Support immersive video playback in visionOS apps」です。

最近導入されたiOSサポートに加えて IMSに重要な新機能が 追加されました。 visionOS 27で カメラプレゼンテーション オーバーライドコマンドや ImmersivePreviewRenderer APIと ワイドアスペクト比ポータルが含まれます。 新しいサンプルコードも公開しました。 デュアルトラックQuickTimeに static foveationを実装し Apple Spatial Audio Format 制作スイートのアップデートも含まれます。 まず新しいカメラプレゼンテーション オーバーライドコマンドの効果を見てみましょう。 ライブや複雑なプロダクション シナリオでは デフォルトのカメラ設定を 上書きする 新しいカメラパラメータが 必要になることがあります。 リアルタイムで。 そこで新しいSet Camera Command Overridesが役立ちます。 実際の応用についての詳細は SMPTE 2110を使ったAIVライブ制作 ワークフローでのIMSについて WWDC 26セッションをご覧ください。 「Build live production tools for Apple Immersive Video」です。 新しいImmersivePreviewRendererで リアルタイムプレビューが可能になり Apple Vision Pro上で Apple Immersive Videoを Macから直接 編集またはライブ制作ワークフロー中に プレビューできます。 エディター カラリスト ディレクターが イマーシブコンテンツが最終的にどのように 見えるかをより正確に把握でき 最終納品時の体験を 確認できます。 Apple Immersive Videoに ワイドアスペクト比ポータルサポートも追加します。 フルイマーシブモードから ポータルモードに切り替えても 非常に広いイマーシブビデオの ポータルを維持できます。 アプリへの実装は簡単です。 カスタムアスペクト比を設定できます。 AVKitベースアプリで AVPlayerViewControllerを使う場合や RealityKitベースアプリでは VideoPlayerComponentを使います。 次にstatic foveationを使った 新しいサンプルを紹介します。 高品質なイマーシブビデオを ストリーム可能な形で提供します。 現実的ではありません 高速の家庭用インターネット 接続でも フル解像度のAIVをステレオで 毎秒90フレームでストリームするのは。 ただ画像を4Kにスケールダウンするだけでは ピクセル密度を 犠牲にしすぎます。 代わりに スムーズなstatic foveation関数を 画像に適用できます。 ストリーム用にエンコードする前に。 新しいサンプルプロジェクトは この技術を使用する1つの方法を示しています。 ストリーム可能なフレームサイズで 高精度なイマーシブビデオを実現します。 優れたイマーシブビデオ体験には イマーシブな空間オーディオ サウンドトラックも欠かせません。 ASAF Production Suiteの 重要な新アップデートをリリースしました。 AAXプラグインスイートは オブジェクトを配置できるようになり リファレンスビデオに 相対的に配置でき アンビソニクスワークフローの 改善も含まれます。 新しいScene Compressorプラグインや ヒートマップ描画の強化と 空間フィルタリング アルゴリズムの改善も含まれます。 新しいサンプルプロジェクトと ASAF Production Suiteは どちらもdeveloper.apple.comから ダウンロードできます。

より深いイマーシブ感から リッチなメディアまで インタラクティブ性を追加する 強力な新機能まで visionOS 27は構築するための 多くのツールを提供します。 まとめとして最後のいくつかの 追加点を紹介します。 まずSpatial Webから始めましょう。 visionOS 27のSafariでは ウインドウをより広いアスペクト比に 調整でき 周囲のスペースを 最大限に活用できます。 大きなウインドウは自然にカーブして コンテンツをより多く 快適な視野に収めます。 Web Environmentsがデフォルトで有効になり Webサイトもアプリと同様に 背景を持てます。 こちらはバーチャル環境の例で Apple TVのドラマ Severanceのものです。

通知 システムステータス コントロール 環境を一元化しました。 新しく改善されたControl Centerで 一か所に集約し High Quality Captureとともに アプリを美しい4Kビデオで キャプチャし Apple Vision Pro内から直接 Macなしで実現します。

visionOSのアクセサリウィジェット サポートにより 小さな一目でわかるウィジェットで アプリをApple Vision Proに拡張でき 最も重要な情報を表示します。 必要な場所に。

visionOS 27には まだまだ多くの機能があります。 Siriの強化 新しいIceland環境などを 含みます。 Spatial Panoramas Personal Environments フリーボードのアップデートなど一部です。 これらが合わさってアイデアを実現する さらに強力なツールが揃います。 みなさんが次に構築するものを 楽しみにしています。