NowPlayingフレームワークについて

NowPlayingは、ロック画面、コントロールセンター、Dynamic Island、CarPlayなどのシステム上の表示領域とアプリのメディア再生を連係させる、Swiftフレームワークです。このフレームワークのオブザーブ可能なAPIを使用して、再生状態を公開し、コマンドに応答する方法を解説します。リモート再生セッションという新機能を使用すると、外部デバイス上で再生されているメディアをアプリで表示できます。同じシステムサーフェス上ですべての再生コントロールも利用できます。

リソース

こんにちは Leo Formaggioです Media Frameworkチームのエンジニアですメディアは日常生活において非常に重要な存在です帰り道のポッドキャストですワークアウト中のハイエナジーなプレイリストです長いフライト中の映画です一人で過ごすときも人とつながるときもメディアは常に身近にあります iPhoneではロック画面に表示されますコントロールセンターとDynamic Islandにも表示されます iPhoneを置いて充電するとスタンバイでひと目で確認できます車に乗るとCarPlayのメイン画面に表示されますこれはシステムのnow-playing体験で全Appleプラットフォームで利用できます Apple Watch Apple Vision Proや Apple TVも対応しています NowPlayingフレームワークを使ってアプリのメディアをシステムへ簡単に統合する方法を紹介します

まずmedia sessions APIから始めますコンテンツをシステムの now-playing体験に表示する方法です

次に他のデバイスで再生中のコンテンツをシステムへ統合する方法を remote media sessionsを使って説明します

最後にMedia Sharing Extensionが iPhoneから他のデバイスへのメディア再生を簡素化する仕組みです開発したアプリの例を使って説明します集中やリラックスに役立つ環境音を再生するアプリですアプリからさまざまな音を選択でき音声の一時停止と再開も可能ですコンテンツをシステムに表示するため NowPlayingのmedia sessions APIを使いました実装方法をご紹介しますこちらがPlayerModelですアプリのオーディオエンジンへの参照を持つ@Observableクラスで現在再生中の音を追跡するプロパティも含まれます MediaSessionRepresentableプロトコルはアプリとシステムの間の契約のようなものです PlayerModelがこれに準拠するとシステムはアプリの再生内容とスキップや一時停止などのメディア操作の処理方法を認識できます各セッション表現には一意の識別子が必要です contentプロパティは再生中の音を記述します NowPlayingはMusic Podcastや MovieContentなどの型を提供しアプリが再生するメディアの種類を表すためのものです自分のユースケースには GenericContentが最適でした各コンテンツはcurrent sound.idで識別されます sound.nameをコンテンツタイトルとして sound.descriptionをサブタイトルとして使いましたメディアタイプは.audioか.videoで私のアプリは音声のみです durationは.continuousに設定しましたアプリが環境音を無限に再生するためです非同期クロージャを持つ Artworkを提供しますシステムが特定サイズの画像を必要とするときに呼ばれますロック画面での表示を見てみましょうアートワークとともに音の名前と説明が表示されます

PlaybackSnapshotプロパティは現在の再生状態を表示します環境音は連続再生なので isPlayingで状態を示すだけです再生時間が定義されたコンテンツではスナップショットにelapsedTime パラメータも指定します commandsプロパティでアプリがサポートするアクションを定義します各コマンドにはクロージャがありユーザーがそのアクションを実行するとシステムが呼び出します例えばロック画面の一時停止ボタンをタップすると pauseコマンドのクロージャが呼ばれプレイヤーを一時停止できますボタンが変わって一時停止状態が反映されます iPhoneで再生ボタンをタップすると playコマンドのクロージャが呼ばれプレイヤーを再開します同様にロック画面の次へボタンをタップすると nextコマンドのクロージャが呼ばれます次の音にスキップできロック画面が新しいコンテンツで更新されます

MediaSessionRepresentableを採用した後コンテンツをシステムに公開するためにもう一つ必要なことがありました MediaSessionはセッション表現とシステムを接続するものです PlayerModelを渡して初期化しオーディオエンジンをセットアップする場所に配置します完了するとMediaSessionがモデルの監視を開始し now-playingサーフェスを自動的に最新の状態に保ちますこれがmedia sessionsを使ってアプリのコンテンツをシステムの now-playing体験に統合した方法です詳細についてはApple Developer Documentationの「Publishing Media Sessions」をご覧ください

iPhoneでの再生に加えてオーディオエンジンをスマートスピーカーに対応させアプリから制御できるようにしましたアプリのデバイス選択メニューから制御したいスピーカーを選びますをタップして制御を開始します Webサーバを通じてアプリは選択したスピーカーに接続し再生状態を取得したりコマンドを送信しますそのスピーカーの再生コンテンツをシステムに表示するために remote media sessions APIを使いましたこのAPIはapp extensionとプッシュ通知を使ってスピーカーの更新を受け取りますこのやり取りの流れを見ていきましょう誰かがスピーカーを操作するとスピーカーが状態の変化をサーバに通知しますサーバはApple Push Notification service（APNs）を使って更新された状態をプッシュ通知で iPhoneに送信しますシステムは更新された状態と共に app extensionを起動しプッシュ通知のペイロードから取得します app extensionはシステムに対してそのセッションの更新された表現を提供します APNsによるプッシュ通知送信の詳細については「Setting up a remote notification server」という記事の developer.apple.comをご確認ください iPhoneシステムUIからの操作の場合システムはapp extension内のコマンドハンドラを呼び出します app extensionがコマンドをサーバに送信しますサーバがスピーカーに通知しスピーカーが変化に反応します

アプリへのremote media sessionsの採用方法を紹介しますまずapp extensionを作成しました RemoteMediaSessionExtensionプロトコルに準拠しますセットアップにはNowPlayingの RemoteMediaSessionExtensionConfigurationを使い remote-mediaの extensionPoint識別子も使いました session(:)メソッドはシステムが操作する必要があるたびに呼ばれリモートセッション表現に対して UIの更新や操作の処理などさまざまな場面で使われますここではRemotePlayerStateを使ってモデルを作成して返します app extensionを設定したらモデルを使ってRemote Media Sessionを表現する方法を紹介しますこちらがRemotePlayerModelです ServerClientへの参照を持つ @Observableクラスでサーバとの通信に使うクラスですサーバの状態も追跡しますこれを基盤にRemote Media Session 表現を構築します各Remote Media Session表現には一意の識別子が必要ですサーバ状態のsessionIDを使いました contentプロパティはスピーカーで再生中の音を記述します今回もGenericContentを使い音の識別子を渡します音の名前と説明も渡しますメディアタイプは.audioで durationは.continuousです現在の音の画像を読み込む Artworkオブジェクトを提供します

サーバ状態でスピーカーの isPlayingを確認できますそれを使って対応する状態の PlaybackSnapshotを作成しますリモートデバイスの再生を制御しているため各コマンドクロージャは対応するアクションをサーバに送信します iPhoneで再生をタップすると playコマンドのクロージャが呼ばれますサーバにplayリクエストを送りスピーカーの再生を再開します同様に次へボタンをタップするとリクエストがサーバに送られスピーカーが次の音に移ります

RemoteMediaSessionRepresentableの採用はここまでローカル再生のmedia sessionsと非常に似た感覚です次に残りのプロパティとメソッドのリモートセッション固有の内容を説明します devicesプロパティはそのセッションで再生中のデバイスをシステムに伝えますサーバのデバイスリストを MediaDevice値にマッピングします各デバイスには異なるセッション間で安定した一意の識別子が必要ですデバイス名とデバイスタイプを指定します私の場合は.speakerですデバイスの音量制御タイプなど機能のリストも指定しますコントロールセンターでの表示がこちらですデバイス名と音量レベルが表示されます

システムの音量スライダーで音量を変更すると volume changeクロージャが更新された音量レベルと共に呼ばれますここでサーバに volume changeリクエストを送れます

update(:)関数は新しい状態のプッシュ通知を受信したときに呼ばれますスピーカーのコンテンツが変わった場合などです RemotePlayerStateは私が定義した structで RemoteMediaSessionAttributesに準拠しますサーバ状態とプッシュ通知のペイロードを表しますここで状態変数を新しいデータで更新しますモデルがobservableなため NowPlayingが変更を検出しシステムを自動的に更新しますこれがアプリのremote media sessionをシステムに統合した方法です詳細については「Publishing remote media sessions」の記事をご覧ください Media Sharing Extensionについてもお話ししたいと思います iPhoneから他のスピーカーやTVへメディアを再生するAPIセットで統一されたシステムインターフェースを通じて利用できます Media Sharing Extensionを使うとシステムデバイスピッカーを利用できアプリがサポートするすべてのメディアプロトコルに対応しますアプリ内のメディアデバイス選択が簡素化されますコントロールセンターなどのシステムサーフェスにも反映されます

従来はメディアプロトコルに対応するために SDKをアプリバンドルに組み込む必要がありました Media Sharing Extensionではプロトコル実装がアプリの外部に存在しシステムが管理しますアプリは再生技術ではなくメディアコンテンツに集中できます

新しいプロトコルが利用可能になっても Media Sharing Extensionで構築したアプリは追加SDKなしで使えます

ローカルとリモートのmedia sessionsを NowPlayingフレームワークでシステムの now-playing体験に統合する方法と Media Sharing Extensionで他のデバイスへのメディア送信を簡素化する方法を解説しましたローカルでメディアを再生したりリモートデバイスを制御するアプリには NowPlayingを採用してコンテンツをロック画面へコントロールセンターとそれ以上へ届けましょうシンプルな統合によりメディアの制御が可能になりアプリ外でも使えます Media Sharing Extensionについて詳しく学びましょうシステムのメディアデバイスピッカーをアプリで使えるようになり他のデバイスへのメディア再生でリーチを広げられます Media Sharing Extensionの詳細については「Routing media to third-party devices」の記事をご覧くださいアプリがシステムの now-playing体験に広がるのを楽しみにしていますご視聴ありがとうございました Blue skies!

1:57 - Existing PlayerModel implementation

import Observation

@Observable
final class PlayerModel {
    let player: SoundPlayer
    var sound: Sound { player.currentSound }

    init(player: SoundPlayer) {
        self.player = player
    }
}

2:06 - Adopt MediaSessionRepresentable

import NowPlaying

extension PlayerModel: MediaSessionRepresentable {
    var id: String { "ambient-sound-session" }

    var content: (any MediaContentRepresentable)? {
        return GenericContent(
            id: sound.id,
            title: sound.name,
            subtitle: sound.description,
            type: .audio,
            duration: .live,
            artwork: Artwork(id: sound.id) { size in
                let data = try await self.artworkData(size: size)
                return try ArtworkRepresentation(data: data)
            }
        )
    }

    var playbackSnapshot: MediaPlaybackSnapshot? {
        MediaPlaybackSnapshot(
            state: player.isPlaying ? .playing() : .paused
        )
    }

    var commands: [MediaCommand] {[
        .play { self.player.play() },
        .pause { self.player.pause() },
        .previous { self.player.previous() },
        .next { self.player.next() }
    ]}
}

4:31 - MediaSession initialization

import NowPlaying

struct PlayerController {
    let player: SoundPlayer
    let model: PlayerModel
    let session: MediaSession<PlayerModel>

    init() {
        self.player = SoundPlayer()
        self.model = PlayerModel(player: player)
        self.session = MediaSession(model)
    }
}

6:42 - App extension entry point

import ExtensionFoundation
import NowPlaying

@main
final class SampleAppExtension: @MainActor RemoteMediaSessionExtension {
    var configuration: some AppExtensionConfiguration {
        RemoteMediaSessionExtensionConfiguration(extension: self)
    }

    var extensionPoint: AppExtensionPoint {
        AppExtensionPoint.Identifier(host: "com.apple.nowplaying", name: "remote-media")
    }

    func session(_ state: RemotePlayerState) async throws -> RemotePlayerModel {
        RemotePlayerModel(state: state)
    }
}

7:23 - Existing RemotePlayerModel implementation

import Observation

@Observable
@MainActor
final class RemotePlayerModel {
    let client: ServerClient
    var state: RemotePlayerState

    init(state: RemotePlayerState) {
        self.client = ServerClient(sessionID: state.sessionID)
        self.state = state
    }
}

7:40 - Adopt RemoteMediaSessionRepresentable in app extension

import NowPlaying

extension RemotePlayerModel: @MainActor RemoteMediaSessionRepresentable {
    var id: String { state.sessionID }

    var content: (any MediaContentRepresentable)? {
        GenericContent(
            id: state.sound.id,
            title: state.sound.name,
            subtitle: state.sound.description,
            type: .audio,
            duration: .live,
            artwork: Artwork(id: state.sound.id) { size in
                let data = try await self.artworkData(size: size)
                return try ArtworkRepresentation(data: data)
            }
        )
    }

    var playbackSnapshot: MediaPlaybackSnapshot? {
        MediaPlaybackSnapshot(
            state: state.isPlaying ? .playing() : .paused
        )
    }

    var commands: [MediaCommand] {[
        .play { try await self.client.send(.play) },
        .pause { try await self.client.send(.pause) },
        .previous { try await self.client.send(.previous) },
        .next { try await self.client.send(.next) }
    ]}

    var devices: [MediaDevice] {
        state.devices.map { device in
            MediaDevice(
                id: device.id,
                name: device.name,
                type: .speaker,
                capabilities: [
                    .absoluteVolume(device.volume) { volume in
                        // send volume change to server
                    }
                ]
            )
        }
    }

    func update(_ state: RemotePlayerState) {
        self.state = state
    }
}

0:00 - Introduction
Discover the Now Playing system experience, available across all Apple platforms. It allows apps to surface currently playing media info on system surfaces like the Lock Screen, Dynamic Island, and CarPlay.
1:08 - Media sessions
Learn how to use the media sessions API to bring audio or video from your app into the system's Now Playing experience by adopting the MediaSessionRepresentable protocol.
5:03 - Remote media sessions
Discover how to extend playback control to devices like smart speakers by adopting RemoteMediaSessionRepresentable and utilizing Apple Push Notification service (APNs).
10:31 - Media sharing extensions
Find out how Media Sharing Extensions simplify routing media from iPhone to other devices by leveraging the system device picker without needing to embed additional SDKs.

「今すぐ始める」を詳しく見る

最新情報

プラットフォームを詳しく見る

特集

テクノロジーを詳しく見る

特集

コミュニティを詳しく見る

特集

ドキュメントを詳しく見る

リリースノート

ダウンロードを詳しく見る

特集

サポートを詳しく見る

特集

クイックリンク

NowPlayingフレームワークについて

関連する章

リソース