构建灵敏还秒开的相机 App

了解如何打造一款能够瞬间启动的相机 App，帮助用户捕捉每个精彩瞬间。探索如何优化从 App 启动到首帧预览的整个相机启动流程。了解可加快启动速度的全新 API，以及实现流畅预览渲染和持续稳定性能的最佳做法，从而确保你的 App 为用户带来精妙的相机体验。

章节

资源

相关视频

WWDC26

实现高分辨率照片拍摄

WWDC23

打造更流畅的相机体验

你好我叫Jake 我是 Camera Performance Team的工程师欢迎收看"构建快速启动的响应式相机App" 启动缓慢时用户会有明显感知经过多年优化原生Camera App的经验我发现影响启动速度最关键的因素在于让相机启动感觉迅速就是预览帧出现在屏幕上的速度

我想拍一张骨牌的精彩瞬间但我忘了提前启动相机骨牌已经开始倒了我在中间放了一块红色骨牌因此必须及时启动并捕捉红色骨牌倒下前的那一刻

App启动时有一段预览空白期等预览开始渲染时红色骨牌早已倒下让预览在App启动后迅速开始渲染能让用户捕捉到瞬息万变的精彩画面确保不错过关键时刻我将帮你打造一款注重性能的相机App 本视频将介绍提升性能的4个主要方面首先讨论如何加速相机启动体验让预览顺畅运行

其次介绍预览渲染的最佳实践以避免丢帧

第三介绍有助于维持性能的API 即使在复杂环境下也能维持

最后介绍一个新API 专为提供确定性文件写入性能而设计适用于高数据率视频录制先从快速启动说起

相机App的启动分为4个阶段第一 App启动包括链接器加载二进制文件运行静态初始化器的时间以及创建UIScenes 以及App在创建采集会话之前的所有操作

第二会话配置和启动

初始化采集会话提交配置以及启动会话均需消耗时间和系统资源

第三会话启动后所有AVCaptureOutput对象初始化耗时取决于输出数量及其质量设置

最后预览开始串流帧数据传入App 我将介绍每个阶段的具体优化方法 App的UI在相机启动体验中扮演重要角色设计启动流程时应将工作分为两个阶段启动和显示预览所需的关键资源以及预览运行后才需要的资源

以AVCam为例—这是 AVFoundation的经典示例相机App 它包含多个UI元素相机预览快门按钮图片缩略图和模式选择器相机预览是最关键的UI元素在用户启动App的瞬间因为这让相机感觉已经随时可用图片缩略图和模式选择器在预览渲染前并不需要因此可以等预览启动后再创建 UI元素并非影响启动时间的唯一因素预览渲染前创建的任何资源都会影响启动时间在AVCam中应用这两个阶段启动时只创建快门按钮和预览启动完成后再淡入其他UI元素减少了App对启动的影响后我将重点介绍AVCaptureSession 及相关对象对下一阶段的影响即会话配置阶段

配置和启动 AVCaptureSession 需要大量系统资源和内存分配直接影响App启动

典型的AVCaptureSession 由AVCaptureDeviceInput组成通常是摄像头或麦克风 AVCaptureConnection将采集设备连接到输出在此示例中需要两个输出一个用于预览一个用于拍摄 AVCaptureVideoPreviewLayer 是用于显示预览的输出 AVCapturePhotoOutput 则是用于图像采集的输出这些对象共同支撑App的相机体验

由于AVCaptureSession 协调所有采集对象应尽早创建它在主线程完成UI设置后立即创建

创建AVCaptureSession 会阻塞主线程为避免卡顿应与UI初始化并行创建启动时显示预览时将AVCaptureSession的创建分配到主线程之外执行这样会话设置可在后台运行同时App的UIScene正在创建

多次提交配置会延长启动时间应预先提交单一配置避免冗长的重新配置拖慢启动速度 AVCaptureSession的startRunning 和stopRunning是阻塞调用不要在主线程调用否则App将卡顿接下来介绍相机启动中开销最大的部分即初始化AVCaptureOutputs

初始化AVCaptureOutputs 会明显拖慢启动速度渲染预览时 App只需初始化一个预览层或一个输出 MovieFileOutput和PhotoOutput 等输出在预览时并不需要

为减少输出初始化时间请采用Deferred start API 该API在iOS 26及更高版本可用 Deferred start让App可以将输出初始化推迟到启动完成后在这个启动序列中所有AVCaptureOutputs会初始化在第一帧预览渲染之前

Deferred start的思路是推迟所有启动时不需要的输出直到预览启动后再初始化使用Deferred start后启动序列将发生变化 App启动配置会话并启动现在只有预览输出在第一帧显示前初始化然后系统会在条件允许时自动运行延迟初始化或等待App发出信号表明何时是合适时机

每个AVCaptureOutput 和AVCaptureVideoPreviewLayer 都有isDeferredStartEnabled属性将其设为true即可延迟该输出为优化启动延迟所有输出仅保留用于渲染预览的输出

有两种方式指定 Deferred start的运行时机自动启动和手动启动针对iOS 26及更高版本SDK 重新编译的App 默认使用自动模式在此模式下automaticallyRunsDeferredStart 属性设为true 在自动模式下系统会选择最佳时机来初始化延迟的输出这发生在预览出现在设备屏幕后不久

会话会发送两个委托回调让App知道Deferred start 何时开始和结束 SessionWillRunDeferredStart在输出初始化开始前触发 SessionDidRunDeferredStart 在完成后触发现在演示如何采用此API

首先创建一个类来处理 Deferred start API 的委托回调

SessionWillRunDeferredStart在 Deferred start开始前调用这是创建App所需后台资源的好时机

SessionDidRunDeferredStart在 Deferred start完成后调用此时所有采集输出均已初始化并可使用现在将Deferred start 添加到captureSession 在配置期间将 automaticallyRunsDeferredStart设为true 在AVCaptureSession上注意如果你的App是针对 iOS 26及更高版本重新编译的此属性会自动设为true 接下来在所有非启动必需的输出上启用Deferred start 这里延迟照片采集输出并使用视频预览层渲染预览

然后将之前的委托回调类绑定到采集会话

会话已配置完毕提交配置并调用startRunning

对于需要更精细控制的App Deferred start API 还提供手动模式通过runDeferredStartWhenNeeded实现在手动模式下 App告知系统何时开始Deferred start 适用于需要在初始化前读取偏好设置或设置UI的App 在繁重的初始化开始之前或使用VideoDataOutput 渲染预览的App 这将在本视频后面详细讨论

使用手动模式时序列会发生变化

App完成启动工作后例如创建非关键资源后调用runDeferredStartWhenNeeded 在采集会话上这告知系统可以运行Deferred start了要选择手动模式将automaticallyRunsDeferredStart 在AVCaptureSession上设为false 在此示例中我希望自己渲染预览使用AVCaptureVideoDataOutput 因此禁用此输出上的 Deferred start 其余代码与上一示例相同接下来决定何时对延迟输出运行Deferred start 为此追踪第一帧是否已呈现

这里使用CAMetalLayer 第一帧呈现后设置所有非关键UI元素并告知AVCaptureSession对延迟的输出运行Deferred start 第一帧呈现后无需特殊处理

为验证Deferred start 加快了启动速度我在实验室搭建了一个灯板目标是比较预览中 LED图案位置的差异右侧手机已启用Deferred start 左侧未启用目标是在红色和绿色LED 同时出现时捕捉图案

我截取了其中一台设备成功显示预览的瞬间右侧启用Deferred start的手机清晰地捕捉到了不断扩展的图案

而未启用Deferred start的手机完成启动时绿色LED已近乎熄灭错过了清晰的分隔效果

我还计时了两台手机的启动序列未启用Deferred start时 App启动接近一秒

启用Deferred start后启动时间缩短了一半速度提升了2倍这是启动时间的重大突破预览比以往更快启动对于复杂的采集会话 App可能看到更大的提升

延迟AVCapturePhotoOutput 有一个注意事项预览启动早了很多但首次拍摄的时间仍保持不变由于照片输出被延迟系统必须完成其初始化才能开始拍摄预览很快就绪但用户仍可能错过拍摄时机为解决此问题将 isResponsiveCaptureEnabled设为true 在AVCapturePhotoOutput上此属性在开始拍摄和处理开始之间添加缓冲让用户即使在照片输出未完全就绪时也能抓拍绿色手机结合Deferred start 启用了响应式拍摄骨牌倒下时迅速启动并拍摄了一张照片

绿色手机让我完美拍到了骨牌紫色手机则错过了时机

了解更多关于如何使用响应式拍摄以及如何拍摄高分辨率精彩照片请观看WWDC26的 "Implement high resolution photo capture"

预览运行后保持稳定的帧率和节奏至关重要否则相机会感觉卡顿接下来分享预览渲染的最佳实践

回顾之前介绍的会话架构渲染预览最简单的方式是使用AVCaptureVideoPreviewLayer 它直接显示摄像头所见的画面呈现在App的UI中 AVCaptureVideoPreviewLayer 专为预览渲染优化无需在App中处理视频帧 AVCaptureVideoPreviewLayer会自动处理包括棘手的HDR色调映射等情况例如HDR色调映射同时保持CPU和GPU开销较低节省电量并为UI 留下更多余量并针对低延迟预览优化让App几乎实时显示摄像头画面延迟极低作为简化的代价 AVCaptureVideoPreviewLayer不支持逐帧访问对于需要更多预览渲染控制权的App AVCaptureVideoDataOutput 是更好的选择 AVCaptureVideoDataOutput取代了 AVCaptureVideoPreviewLayer 在会话架构中成为显示帧的主要输出在设备上

AVCaptureVideoDataOutput对预览流程提供更多控制让App能够处理单个帧还允许App在每帧上叠加自定义UI

逐帧处理使与Metal的集成以及帧数据分析更加方便以及分析帧数据仅需显示摄像头画面时使用AVCaptureVideoPreviewLayer 记住使用 AVCaptureVideoPreviewLayer的App 在针对iOS 26及更高版本重新编译时会自动选择自动Deferred start

需要逐帧处理时使用AVCaptureVideoDataOutput Deferred start不会自动适用于 AVCaptureVideoDataOutput 因此需采用手动Deferred start 以获得相同的启动提升渲染预览时保持逐帧工作简短有助于避免丢帧保持流畅体验

设备发热时性能越来越难以维持因为系统会降频以适应监控会话的性能并根据系统状况调整以获得可持续的体验

接下来介绍让App监控性能的API 并适应系统状况回顾之前的架构有采集会话照片输出和预览层

这是相对基础的配置但随着 App添加更多摄像头或输入设备时复杂度会增加

随着复杂度增加性能消耗也随之增加了解采集会话的开销有助于设计出可持续的体验 hardwareCost API 返回0到1之间的值表示会话硬件资源的当前使用比例超过1表示系统无法支持该配置以下几个因素会影响此开销使用的摄像头数量源设备的活跃格式例如使用1080p或4K 源设备格式的帧率 hardwareCost假设格式的最大帧率因此如果你以较低帧率运行例如每秒30帧而不是每秒60帧使用帧率覆盖属性来降低开销最后是Binned格式的使用 Binned格式使用较少的硬件带宽因为这些格式会合并像素

systemPressureCost API 同样返回0到1之间的值表示会话当前配置的开销超过1时该配置不可持续为适应当前系统状态监控AVCaptureDevice的 systemPressureState属性随着系统压力状态升高考虑降低采集设备的帧率或限制GPU或Apple Neural Engine 的使用或减少UI工作初始会话设置后使用 hardwareCost和systemPressureState API 在初始会话设置后

提交配置后检查 hardwareCost是否超出设备的承载能力

一旦hardwareCost 达到或低于1 观察AVCaptureDevice的 systemPressureState 并注册状态变化处理程序使用该处理程序通过我刚介绍的技术进行适应视频录制对性能问题也很敏感一旦设备进入压力状态传统的文件系统输入/输出是不稳定的因为系统需要处理多个竞争操作内存碎片化和存储磨损这意味着文件输入/输出的行为是不确定的

高数据率视频录制如ProRes 需要持续的高带宽输入/输出才能流畅录制而不丢帧为应对这一挑战使用iOS 27新增的AVProVideoStorage 此类负责跟踪和管理预分配的存储空间用于高数据率视频录制这是所有App共享的系统级资源

AVProVideoStorage与现有的电影录制API配合使用

App通过设置 usesProVideoStorage来选择使用在AVCaptureMovieFileOutput上或在AVAssetWriter上当使用AVCaptureVideoDataOutput 录制内容时

系统处理分配和文件输入/输出使高数据率编解码器的写入性能保持一致相机设置已更新让用户可以控制分配多少存储空间 remainingCapacity方法报告剩余存储量该值在录制期间减少停止减少的时候是录制停止时

使用openSettings方法将用户从你的App 引导至设置界面

使用AVProVideoStorage 首先检查是否支持该存储

AVProVideoStorage是单例使用shared方法获取此对象的实例

接下来创建MovieFileOutput AVCaptureSession AVCaptureConnections 并选择录制格式

使用AVCaptureMovieFileOutput上新增的 isProVideoStorageSupported方法检查兼容性

录制前确认存储空间未在调整大小或处理文件创建或删除请求最后在MovieFileOutput上启用ProVideoStorage并开始录制录制期间视频写入预分配的存储空间录制完成后移动到指定位置

如前所述此功能与AVAssetWriter配合同样出色

我介绍了优化相机App 启动速度的方法预览渲染的最佳实践维持性能的API 以及如何为ProRes录制获得确定性文件写入速度采用Deferred start 配合高质量照片输出你将保持快速启动并获得精彩的图像质量分析相机App其他部分的性能使用Instruments和Xcode 测量识别并解决性能问题记住大多数时候你在桌前开发你的App 或在受控环境中但用户在现实世界中使用你的App 在各种条件下测试并测量性能例如在炎热的晴天最后观看WWDC23的 "Create a more responsive camera experience" 以及WWDC26的 "Implement high resolution photo capture" 了解如何将拍摄响应性集成到你的App中

性能不只是一项功能它是出色相机体验的基础持续优化持续拍摄感谢观看

9:14 - Automatic deferred start delegate

import AVFoundation

class DeferredStartDelegate: NSObject, AVCaptureSessionDeferredStartDelegate {
    func sessionWillRunDeferredStart(_ session: AVCaptureSession)
    {
        // This is called before deferred start begins for the deferred outputs
    }

    func sessionDidRunDeferredStart(_ session: AVCaptureSession)
    {
        // This is called after deferred start completes for all outputs
    }
}

9:46 - Adopt automatic deferred start

import AVFoundation

let captureSession = AVCaptureSession()
captureSession.beginConfiguration()
captureSession.automaticallyRunsDeferredStart = true

let videoPreviewLayer = AVCaptureVideoPreviewLayer(session: captureSession)
videoPreviewLayer.isDeferredStartEnabled = false

let photoOutput = AVCapturePhotoOutput()
photoOutput.isDeferredStartEnabled = true
captureSession.addOutput(photoOutput)

captureSession.setDeferredStartDelegate(deferredStartDelegate, deferredStartDelegateCallbackQueue: sessionQueue)

captureSession.commitConfiguration()
captureSession.startRunning()

11:30 - Adopt manual deferred start

import AVFoundation

let captureSession = AVCaptureSession()
captureSession.beginConfiguration()
captureSession.automaticallyRunsDeferredStart = false

let videoOutput = AVCaptureVideoDataOutput()
captureSession.addOutput(videoOutput)
videoOutput.isDeferredStartEnabled = false

let photoOutput = AVCapturePhotoOutput()
photoOutput.isDeferredStartEnabled = true
captureSession.addOutput(photoOutput)

captureSession.setDeferredStartDelegate(deferredStartDelegate, deferredStartDelegateCallbackQueue: sessionQueue)

captureSession.commitConfiguration()
captureSession.startRunning()

11:53 - Manage runDeferredStartWhenNeeded

import AVFoundation
import QuartzCore

private var firstFramePresented = false
guard let drawable = layer.nextDrawable()
if (!firstFramePresented) {
    drawable.addPresentedHandler({ drawable in
        // Set up postponed UI elements
        captureSession.runDeferredStartWhenNeeded()
    })
    firstFramePresented = true
}

14:07 - Enable responsive capture

import AVFoundation

func configurePhotoOutput(for session: AVCaptureSession, device: AVCaptureDevice) {
    let photoOutput = AVCapturePhotoOutput()

    guard session.canAddOutput(photoOutput) else { return }
    session.addOutput(photoOutput)

    photoOutput.maxPhotoQualityPrioritization = .quality
    // Responsive capture lets the photo output capture immediately
    photoOutput.isResponsiveCaptureEnabled = photoOutput.isResponsiveCaptureSupported
}

20:16 - Monitor for system pressure

import AVFoundation

let captureSession = AVCaptureSession()
let device = activeVideoInput?.device
captureSession.beginConfiguration()
// ...
captureSession.commitConfiguration()

guard captureSession.hardwareCost <= 1.0 else {
    print("hardwareCost \(captureSession.hardwareCost) — cannot start session. Reconfiguring.")
    setupLowCostConfiguration()
}

captureSession.startRunning()
let systemPressureObserver = device?.observe(\.systemPressureState,
                                               options: [.initial, .new],
                                               changeHandler: { /* Handle state change */ })

22:17 - Manage pro video storage

import AVFoundation

func configureProVideoStorage() {
    guard AVProVideoStorage.isSupported else { return }
    let storage = AVProVideoStorage.shared
    guard storage.remainingCapacity != 0 else {
        storage.openSettings()
        return
    }
}

22:43 - Adopt AVProVideoStorage for deterministic file write speeds

import AVFoundation

guard AVProVideoStorage.isSupported else { return }
guard let pvs = AVProVideoStorage.shared else { return }

// Configure and set up AVCaptureSession, AVCaptureConnections and format
// ...
let movieOutput = AVCaptureMovieFileOutput()

guard movieOutput.isProVideoStorageSupported else { return }
guard !pvs.isBusy else { return }

let movieFileURL = FileManager.default.temporaryDirectory
            .appendingPathComponent(UUID().uuidString)
            .appendingPathExtension("mov")

movieOutput.usesProVideoStorage = true // Also available with AVAssetWriter
movieOutput.startRecording(to: movieFileURL, recordingDelegate: delegate)

0:00 - Introduction
Why a fast-appearing preview frame is the single biggest factor in a camera launch feeling responsive, and what the session covers — accelerating launch, rendering best practices, and capturing the moment without missing it.
2:02 - Fast Launch
Learn how to minimize UI overhead and explore best practices for creating and configuring AVCaptureSession to get the camera preview on screen faster.
6:52 - Adopt deferred start
Discover the deferred start API that allows you to defer the initialization of expensive capture outputs until after the preview is running, featuring both automatic and manual modes.
15:06 - Steady preview
Explore best practices for rendering preview frames, comparing the simplicity of AVCaptureVideoPreviewLayer against the flexibility of AVCaptureVideoDataOutput.
18:04 - Sustained performance
Learn how to assess hardware cost and adapt to system pressure using new APIs to maintain a smooth and responsive camera experience under demanding conditions.
21:14 - Deterministic file writing
Adopt the AVProVideoStorage API to achieve sustained high-bandwidth input/output required for high data-rate video captures like ProRes.

探索“入门汇总”

及时了解最新动态

探索“平台”

精选

探索“技术”

精选

探索“社区”

精选

探索“文档”

发布说明

探索“下载”

精选

探索“支持”

精选

快速链接

构建灵敏还秒开的相机 App

章节

资源

相关视频

WWDC26

WWDC23