Reality Composer Pro 3による空間シーンのイテレーションの高速化

こんにちは、皆さん！ 私はJPです。AppleでReality Composer Proの エンジニアをしています。 このセッションでは、空間コンテンツの 制作サイクルをどのように Reality Composer Pro 3を使って これまで以上に高速化できるかお話しします。 Apple Vision Proのリリース以来、 素晴らしい空間体験が このプラットフォームに登場しています。 Reality Composer Proは、visionOSに その素晴らしいコンテンツをもたらす 中心的存在であり、このコミュニティが 作り出すものに刺激を受けています。 私たちの目標は、皆さんにより多く、 より優れたツールを提供し続け、 できる限り少ない手間で アイデアを形にできるようにすることです。 そこで、役立つ全く新しい機能を いくつかご紹介します。 最も野心的な空間プロジェクトでも 実現できるようになります！

Reality Composer Pro 3は、高速で 反復的、 そして協業しやすいワークフローのために ゼロから作り直されました。 Xcodeを使わずに開発をより先へ 進められるよう支援します。

このセッションでは、これらの 全く新しい機能をご紹介します。 Live Preview、Lightmaps、そして Reality Composer Pro Assistantなど、 AIを使って3Dコンテンツを生成できる機能です。 インタラクティブゲーム 「Chaparral Village」に いくつかの小さな機能を追加するプロセスを お見せします。 まず、エディターのコア機能の 概要から始めます。 エンティティとコンポーネントを使って シーンを構築する方法を説明します。 新しいプロトタイプとインスタンシング システムを紹介します。これはアセットを 効率的に整理、再利用、 管理するために設計されています。 コンテンツをVision Proで 直接プレビューし、 オーサリングする方法をデモします。 Lightmapsを使ってシーンの 間接照明をベイクします。 最後に、Reality Composer Pro Assistantを ご紹介します。 そして、それを活用してワールドに コンテンツを追加する方法もご紹介します。 まず最初に。 Reality Composer Pro 3は、Xcodeの 開発ツールとしては 利用できなくなりました。 今後はdeveloper.apple.comから ダウンロードして、Applicationsフォルダから 直接起動できます。 Reality Composer Pro Editorの 使い方の基本を 学びたい方は、 こちらのセッションをご覧になることを おすすめします。 WWDC23の「Meet Reality Composer Pro」。 では、今日取り組むプロジェクトの 概要から始めましょう。 これはChaparral Villageの Alchemy Areaです。 このシーンの全オブジェクトは Blenderでモデリングされ、 USDファイルとしてインポートされ、 Reality Composer Proでレイアウトされました。 より詳しく確認するために、 ViewメニューのFocus Modeを使って シーンを少し探索します。

これは美しいシーンですね。

まず、プロジェクトに アセットを追加してみます。 そのために、Project Browserにある アセットインポートアイコンを使って デスクトップにあるCauldron USDファイルを 選択します。

USDファイルをインポートすると、 その内容が整理されて インポートバンドルに最適化されます。 インポートが完了したら、 バンドルを展開して中身を確認できます。

バンドルの中には、インポートされたジオメトリ、 マテリアル、テクスチャなどが含まれています。 cauldronアセットが良く見えます。 ラボに追加するために、バンドルを ビューポートにドラッグ＆ドロップします。

追加されたアセットはヒエラルキービューに 表示され、エンティティと呼ばれます。 右側のインスペクターパネルに Transform Componentが表示されています。 エンティティとコンポーネントは、 Reality Composer Pro 3で作成するすべての 中核となる構成要素です。 詳しく見ていきましょう。

ヒエラルキーパネルでは、シーンを構成する すべてのエンティティの一覧が確認でき、 必要に応じて並び替えや ネストができます。 fireplaceを展開して cauldronをその下にドラッグします。

cauldronエンティティを選択し、 Transform Component内の値を調整して 正しい位置と角度に 配置します。

「コンポーネントを追加」ボタンを使って エンティティにさらにコンポーネントを追加できます。

このパネルを使って、ライト、物理演算、 オーディオなどをエンティティに追加できます。

これらのコンポーネントをいくつか使って シーンに面白い ビジュアルエフェクトを作ります。

まず、Tableエンティティの下に 子エンティティを作ります。 コンテキストメニューを使って 「Add Child Entity」を選択します。 「Magic Effect」と名前をつけます。

エンティティにフォーカスするには、 「f」キーを押すことができます。

Magic Effectエンティティに 「Glow」という子を追加します。

そして、シンプルな Point Lightコンポーネントを追加します。

ライトの位置を調整し、

attenuationを調整し、

カラーを調整し、

強度を調整します。

Magic Effectに新しいCompute Simulationコンポーネントも追加します。

インスペクターパネルで、プロジェクト用に 作成したMagic Graphを選択します。 Compute Graph ピッカーを使って 行うことができます。 このプロジェクトで利用可能な すべてのCompute Graphが表示されています。 Magic GraphとBrewing Graphが 利用可能です。 今はMagic Graphを使い、 Brewing Graphは後で使います。 Compute GraphはGPUプログラミングを 誰でも利用できるようにします。 ノードベースのグラフで、シンプルなパーティクルシステムから 複雑な流体シミュレーションまで 何でも構築できます。 このトピックの詳細については、 セッション 「Supercharge your spatial workflows with Reality Composer Pro 3」をご覧ください。 Compute Graphが今は表示されていないことに 気づかれたかもしれません。 これは、このグラフが シミュレーションステージ中にのみ実行されるためです。 テストするために、ランチコントロールを使って ゲームを実行します。 Playボタンを押します。 ここからReality Composer Pro 3が 本領を発揮し始めます。

Alchemy Areaが実行されており、 Compute Graphがシミュレートされているのが 確認できます。 近くで見てみましょう。

シミュレーションタブを シーンタブの隣にドッキングします。

これにより、ゲームが実行中でも コンテンツのオーサリングを続けられます。 このMagic Effectをテーブル上の ボウルの中に配置します。

グラフのtwist amountを 好みに合わせて調整します。

シミュレーションタブにより、 素早く調整を行えます。 デプロイメントプロセスに 邪魔されることなく。 物理シミュレーションからスクリプトグラフ、 アニメーションまで、オーサリングしたすべてのものが Reality Composer Proでシミュレーションタブで リアルタイムにプレビューでき、 皆さんと最終的な体験との間の 摩擦を大幅に減らします。 次に、Reality Composer Proの新しい追加機能 「prototypes」についてご説明します。 これは強力で再利用可能なオブジェクトを 作成するために使用できます。 エンティティをプロトタイプに変換するには、 ヒエラルキータブから Project Browserに直接ドラッグします。

これにより新しいプロトタイプアセットが 作成されます。 この新しいプロトタイプをビューポートに ドラッグすることでインスタンス化できます。

この新しいインスタンスを 「Brewing Effect」に名前変更します。

Magic Effectプロトタイプを使用した 2つのインスタンスができています。 これらのインスタンスにオーバーライドを 設定してカスタマイズできます。 まず、brewingインスタンスのエフェクトを 変更して 前述のBrewing Graphに切り替えます...

カラーを調整し、

attenuation、

そしてGlowエンティティのfalloffを 調整します。

あれ...これはまずいですね。 オーバーライドはいつでも ソース値に コンテキストメニューのResetを選ぶことで リセットできます。 Attenuation Falloffプロパティを 右クリックしてリセットします。

はい、これで大分良くなりました。 元のfalloff値を維持します。 プロトタイプを使えば、一箇所でコンテンツを 編集するだけで、システムが残りを処理します。 プロトタイプを複数回 インスタンス化でき、 それぞれのインスタンスを 個別にオーバーライドできます。 オーバーライドが気に入らない場合は、 元の値にリセットするか、 オーバーライドをソースに 書き戻すこともできます。 望まない限り、何も永続的に 変更されることはありません。 次に、Reality Composer Proのクールな新機能 「Live Preview」をご紹介します。 この体験はVision Pro向けに 構築しているので、 Macに現在接続されている 任意のVision Proデバイスで シミュレーションを再生できます。 ランチコントロールパネルを使って Live Previewセッションを開始します。 今年後半に提供予定です。 visionOSにコンパニオンアプリが 開きます。 Reality Composer Proで引き続き オーサリングしながら、 更新が即座に反映されるのを確認できます。 青いfill lightに新しい物理空間ライティング機能が 有効になっているのに注目してください。 デバイス上でこのようなエフェクトを オーサリングすると、 空間体験での影響を 即座に感じることができます。

このライブプレビュー方式は イテレーション時間を大幅に短縮します。 オーサリングプロセスから 推測の余地をなくします。 見たものが、まさに手に入るものです。 うまくいっていますが、これらの照明編集の後、 シーンの雰囲気が 少し変わってしまったことに気づきます。 これは、このシーン用に 以前生成されていた間接照明が 新しい照明と一致しなくなったためです。 これを修正するために、Reality Composer Proの 新しいLightmapsを使います。

間接照明は、光がシーン全体で 跳ね返る様子を捉え、 単一のライトで直接照らされないエリアにも 貢献します。 例えば、このテーブルの下のスペースには 直接照明が当たっていませんが、 間接照明をシミュレートすることで、 そのエリアに届く微妙な光を どんなに微かであっても 捉えることができます。 例えば、私のシーンでは、 Alchemy Areaのほとんどは fireplaceから直接照らされていません。 しかし、Lightmapsはそれらの暗いエリアを 柔らかいバウンス光で補い、 シーン全体の見た目を 大幅に改善します。 間接照明のシミュレーションは コストがかかりますが、 Alchemy Areaのライトは動かないため、 新しい ライトマッピングコンポーネントを使って 間接照明の項を事前計算し、 結果をLightmapと呼ばれる テクスチャに保存できます。

Alchemy AreaエンティティにはLightmap コンポーネントが付いています。

ここでベイクする照明項や品質設定を 細かく調整できます。 Bake SettingsのLightmapsの品質を 低から高に変更します。

ベイクされたライトの出力をプレビューするために、 Lightmap Previewタブを開きます。 Tabメニューから開けます。

これにより、間接照明がシーンに与える影響を リアルタイムで確認できます。 Lightmapの設定を調整します。

プレビュータブで最終結果を はっきり確認してから、 フルベイクを実行できます。 この設定でかなり満足しています。 シーンのLightmapを再生成する 準備ができました。

ライトがベイクされている間に、 Lightmapコンポーネントが対応する さまざまな照明項を説明しましょう。 間接照明に加えて、Reality Composer Proは Ambient OcclusionとBeauty Lightmapsも 生成できます。

Ambient Occlusionは シーン内の各点から 周囲への可視性を表します。 そしてBeautyはシーン内の 各点の最終的な色を表します。 間接照明と直接照明の 両方を考慮した上で。 Lightmapsを確認しに行きましょう。

完成しました！ Lightmapsが完全にベイクされ、 シーンが美しく仕上がっています。 締めくくる前に、このシーンに もう一つ追加したいと思います。 作業台にもう少しアイテムがあったら 素敵だと思いまして。 そのために、全く新しい Reality Composer Pro Assistantを使います。 新しいAI Assistantは右側のパネルから 常に利用できます。

そこから、アシスタントに シンプルにプロンプトを入力できます。

素晴らしいですね。 ろうそくもいくつか追加しましょう。

シーンが完成しました。 Reality Composer Pro Assistantは 強力な生成モデルを使用して、 3Dオブジェクトとマテリアルを オンデマンドで作成し、 より速くイテレーションし、 自由に実験して、 アイデアを簡単に現実に変えられます。 また、いつでも回答する準備ができています。 Reality Composer Proに関する どんな質問にも！ 今日は多くのことをカバーしましたが、 それはReality Composer Pro 3が 提供するものの表面をなぞったに過ぎません。 Reality Composer Proの学習を続けるには、 まずここからダウンロードしてください。 developer.apple.com。 サイトに行ったら、利用可能なサンプルプロジェクトも ぜひ確認してください。 Reality Composer Proにはまだまだ たくさんの機能があります。 このセッションではすべてを カバーできませんでしたが。 詳細については、Reality Composer Proの セッションをご確認ください。 チーム全員を代表して申し上げますが、 皆さんが何を作ってくださるか 楽しみにしています。 ご視聴ありがとうございました！