了解 NowPlaying 框架

抢先了解 NowPlaying——利用这个 Swift 框架，将你 App 的媒体播放搬上锁定屏幕、控制中心、灵动岛和 CarPlay 车载等系统界面。了解如何使用其中的可观察 API 发布播放状态并响应命令。探索远程播放会话，这项新功能可让你的 App 在外部设备上呈现媒体播放，并将完整的播放控件带到同样的系统界面。

章节

资源

大家好我叫Leo Formaggio 我是Media Frameworks团队的一名工程师媒体在我们的日常生活中占据着重要的位置比如开车回家时收听播客锻炼时播放充满活力的歌单或者在长途飞行中观看电影无论是独处时光还是与人互动媒体始终陪伴在我们左右在iPhone上它直接显示在锁定屏幕上控制中心以及灵动岛中将iPhone放下充电时可在StandBy中一览无余上车时它在CarPlay中显眼呈现这就是系统正在播放的体验在所有Apple平台上均可使用包括Apple Watch Apple Vision Pro和Apple TV 我来介绍NowPlaying框架如何轻松将App中的媒体接入系统

首先介绍媒体会话API 演示如何将内容呈现在系统正在播放的体验中

接着说明如何将其他设备上正在播放的内容通过远程媒体会话接入系统

最后讲解Media Sharing Extensions 如何简化将iPhone上的媒体播放到其他设备的流程我将以我开发的一款App 为例进行说明它播放环境音效帮助人们专注和放松在我的App中可以选择不同的音效还可以暂停和恢复播放为了将内容呈现在系统中我使用了NowPlaying的媒体会话API 接下来展示具体实现方式这是我的PlayerModel — 一个@Observable类引用了App的音频引擎以及一个追踪当前播放音效的属性 MediaSessionRepresentable协议是我的App与系统之间的契约当PlayerModel遵循该协议时系统便能理解 App正在播放的内容以及如何处理跳过或暂停等交互每个会话表示都需要唯一标识符 content属性用于描述当前播放的音效 NowPlaying提供特定内容类型如Music Podcast和MovieContent 用于描述App正在播放的媒体类型 GenericContent适合我的使用场景所以我选择了它每个内容以sound.id 作为标识我用sound.name作为内容标题用简短的sound.description 作为副标题媒体类型可以是.audio或.video 但我的App只播放音频我将时长设置为.continuous 因为App会无限循环播放环境音效我通过异步闭包提供Artwork 系统会在需要特定尺寸图像时调用它现在来看看它在锁定屏幕上的效果音效名称和描述会与封面图一起显示

PlaybackSnapshot属性用于显示当前播放状态由于环境音效是连续播放的只需指明内容是否处于isPlaying状态对于有固定时长的内容还应在快照中指定 elapsedTime参数通过commands属性定义App支持的所有操作每个命令都有一个闭包当用户执行该操作时系统会调用它例如当我点按锁定屏幕上的暂停按钮时暂停命令闭包被调用我就可以暂停播放器注意按钮已变化反映出暂停状态现在如果我点按手机上的播放播放命令闭包被调用我就恢复播放器同样当我点按锁定屏幕上的下一首按钮时下一首命令闭包被调用可以跳到下一个音效锁定屏幕随即更新显示新内容

采用MediaSessionRepresentable之后还需再做一件事让内容对系统可见 MediaSession将会话表示与系统连接起来我用PlayerModel对其初始化在设置音频引擎的同一位置完成后MediaSession开始监听模型自动保持正在播放的界面实时更新这就是我通过媒体会话将App内容与系统正在播放体验整合的方式更多信息请查看《Publishing Media Sessions》文章位于Apple Developer文档

除了在iPhone上播放外我还让音频引擎支持智能音箱可由我的App进行控制在App的设备选择器菜单中选择要控制的音箱点按Living Room Speaker 开始控制它通过Web服务器 App连接到选定的音箱请求播放状态并发送命令为了将该音箱正在播放的内容呈现在系统中我使用了远程媒体会话API 该API使用App扩展和推送通知接收有关音箱的更新来看看这一交互的具体流程当用户与音箱交互时音箱将状态变更通知服务器服务器随后通过 Apple推送通知服务APNs 向iPhone发送推送通知携带更新后的状态系统使用更新后的状态启动App扩展来自推送通知载荷 App扩展随后向系统提供该会话的更新表示更多关于通过APNs发送推送通知的信息请查阅文章《Setting up a remote notification server》位于developer.apple.com 当交互来自 iPhone系统UI时系统调用App扩展中的命令处理程序 App扩展将命令发送至服务器服务器通知音箱音箱响应变更

以下是我在App中采用远程媒体会话的方式首先我创建了一个App扩展遵循 RemoteMediaSessionExtension 协议来实现设置时我使用了 NowPlaying 的 RemoteMediaSessionExtensionConfiguration 以及 remote-media extensionPoint 标识符系统需要与远程会话表示进行交互时会调用 session(:) 方法例如更新用户界面或处理某次交互我可以用 RemotePlayerState 创建模型并将其返回 App 扩展配置完成后我来演示如何用模型表示 Remote Media Session 这是我的 RemotePlayerModel 它是一个 @Observable 类引用了 ServerClient 我用这个类与服务器进行通信它也会追踪服务器状态我将以此为基础构建 Remote Media Session 表示每个 Remote Media Session 表示都需要一个唯一标识符我使用了服务器状态中的 sessionID content 属性用于描述扬声器正在播放的声音同样我使用了 GenericContent 并传入声音标识符声音名称和声音描述媒体类型为 .audio 时长为 .continuous 我提供了一个 Artwork 对象用于加载当前声音的图像

服务器状态会指示扬声器 isPlaying 状态我可以用它创建对应状态的 PlaybackSnapshot 由于我控制的是远程设备的播放每个命令 Closure 都会向服务器发送对应操作的请求例如在 iPhone 上点击播放就会调用播放命令 Closure 我向服务器发送播放请求扬声器随即恢复播放同样点击下一个按钮时请求会发送至服务器扬声器随即切换到下一个声音

目前为止采用 RemoteMediaSessionRepresentable 与本地播放媒体会话的体验非常相似接下来介绍剩余的属性和方法这些是远程会话特有的 devices 属性告知系统该会话中正在播放的设备我将服务器的设备列表映射为 MediaDevice 值每个设备需要一个唯一标识符在不同会话间保持稳定我提供设备名称以及设备类型如 .speaker 还有能力列表例如设备的音量控制类型这是它在 ControlCenter 中的样子设备名称会与音量级别一同显示

当我使用系统音量滑块调整音量时音量变更 Closure 会被调用并传入更新后的音量级别我可以向服务器发送音量变更请求

update(:) 函数会在收到推送通知且含有新状态时被调用例如扬声器上的内容发生变化时 RemotePlayerState 是我定义的一个结构体它遵循 RemoteMediaSessionAttributes 用于表示服务器状态和推送通知载荷在这里我用新数据更新状态变量由于模型是可观测的 NowPlaying 会检测到变化并自动更新系统这就是我将 App 的远程媒体会话集成到系统的方式更多信息请查阅文章《Publishing remote media sessions》我还想介绍 Media Sharing Extensions — 一组 API 用于将媒体从 iPhone 播放到其他扬声器和电视全部通过统一的系统界面实现 Media Sharing Extensions 让你使用系统设备选择器支持 App 所有媒体协议的设备这简化了 App 中媒体设备的选择流程所选结果也会在 Control Center 等系统界面中体现

以往支持某种媒体协议意味着将其 SDK 嵌入 App 包中有了 Media Sharing Extensions 协议实现位于 App 之外由系统统一管理 App 可专注于媒体内容而非播放技术本身

随着更多协议推出基于 Media Sharing Extensions 构建的 App 无需再接入其他 SDK

以上介绍了如何将本地和远程媒体会话借助 NowPlaying 框架融入系统正在播放体验以及 Media Sharing Extensions 如何简化向其他设备传送媒体的流程对于本地播放或控制远程设备播放的 App 接入 NowPlaying 可将内容呈现于锁定屏幕 Control Center 及更多界面这一集成简单直接让用户可控制媒体即便在 App 外也不例外了解更多 Media Sharing Extensions 信息它们让 App 使用系统媒体设备选择器并在向其他设备播放媒体时扩大覆盖范围更多关于 Media Sharing Extensions 的信息请查阅文章《Routing media to third-party devices》期待看到你的 App 扩展至系统正在播放体验感谢观看祝一切顺利

1:57 - Existing PlayerModel implementation

import Observation

@Observable
final class PlayerModel {
    let player: SoundPlayer
    var sound: Sound { player.currentSound }

    init(player: SoundPlayer) {
        self.player = player
    }
}

2:06 - Adopt MediaSessionRepresentable

import NowPlaying

extension PlayerModel: MediaSessionRepresentable {
    var id: String { "ambient-sound-session" }

    var content: (any MediaContentRepresentable)? {
        return GenericContent(
            id: sound.id,
            title: sound.name,
            subtitle: sound.description,
            type: .audio,
            duration: .live,
            artwork: Artwork(id: sound.id) { size in
                let data = try await self.artworkData(size: size)
                return try ArtworkRepresentation(data: data)
            }
        )
    }

    var playbackSnapshot: MediaPlaybackSnapshot? {
        MediaPlaybackSnapshot(
            state: player.isPlaying ? .playing() : .paused
        )
    }

    var commands: [MediaCommand] {[
        .play { self.player.play() },
        .pause { self.player.pause() },
        .previous { self.player.previous() },
        .next { self.player.next() }
    ]}
}

4:31 - MediaSession initialization

import NowPlaying

struct PlayerController {
    let player: SoundPlayer
    let model: PlayerModel
    let session: MediaSession<PlayerModel>

    init() {
        self.player = SoundPlayer()
        self.model = PlayerModel(player: player)
        self.session = MediaSession(model)
    }
}

6:42 - App extension entry point

import ExtensionFoundation
import NowPlaying

@main
final class SampleAppExtension: @MainActor RemoteMediaSessionExtension {
    var configuration: some AppExtensionConfiguration {
        RemoteMediaSessionExtensionConfiguration(extension: self)
    }

    var extensionPoint: AppExtensionPoint {
        AppExtensionPoint.Identifier(host: "com.apple.nowplaying", name: "remote-media")
    }

    func session(_ state: RemotePlayerState) async throws -> RemotePlayerModel {
        RemotePlayerModel(state: state)
    }
}

7:23 - Existing RemotePlayerModel implementation

import Observation

@Observable
@MainActor
final class RemotePlayerModel {
    let client: ServerClient
    var state: RemotePlayerState

    init(state: RemotePlayerState) {
        self.client = ServerClient(sessionID: state.sessionID)
        self.state = state
    }
}

7:40 - Adopt RemoteMediaSessionRepresentable in app extension

import NowPlaying

extension RemotePlayerModel: @MainActor RemoteMediaSessionRepresentable {
    var id: String { state.sessionID }

    var content: (any MediaContentRepresentable)? {
        GenericContent(
            id: state.sound.id,
            title: state.sound.name,
            subtitle: state.sound.description,
            type: .audio,
            duration: .live,
            artwork: Artwork(id: state.sound.id) { size in
                let data = try await self.artworkData(size: size)
                return try ArtworkRepresentation(data: data)
            }
        )
    }

    var playbackSnapshot: MediaPlaybackSnapshot? {
        MediaPlaybackSnapshot(
            state: state.isPlaying ? .playing() : .paused
        )
    }

    var commands: [MediaCommand] {[
        .play { try await self.client.send(.play) },
        .pause { try await self.client.send(.pause) },
        .previous { try await self.client.send(.previous) },
        .next { try await self.client.send(.next) }
    ]}

    var devices: [MediaDevice] {
        state.devices.map { device in
            MediaDevice(
                id: device.id,
                name: device.name,
                type: .speaker,
                capabilities: [
                    .absoluteVolume(device.volume) { volume in
                        // send volume change to server
                    }
                ]
            )
        }
    }

    func update(_ state: RemotePlayerState) {
        self.state = state
    }
}

0:00 - Introduction
Discover the Now Playing system experience, available across all Apple platforms. It allows apps to surface currently playing media info on system surfaces like the Lock Screen, Dynamic Island, and CarPlay.
1:08 - Media sessions
Learn how to use the media sessions API to bring audio or video from your app into the system's Now Playing experience by adopting the MediaSessionRepresentable protocol.
5:03 - Remote media sessions
Discover how to extend playback control to devices like smart speakers by adopting RemoteMediaSessionRepresentable and utilizing Apple Push Notification service (APNs).
10:31 - Media sharing extensions
Find out how Media Sharing Extensions simplify routing media from iPhone to other devices by leveraging the system device picker without needing to embed additional SDKs.

探索“入门汇总”

及时了解最新动态

探索“平台”

精选

探索“技术”

精选

探索“社区”

精选

探索“文档”

发布说明

探索“下载”

精选

探索“支持”

精选

快速链接

了解 NowPlaying 框架

章节

资源