实现高分辨率照片拍摄

借助 AVFoundation，使用你的 App 拍摄超高分辨率照片。了解三种不同的拍照选项：RAW、分段曝光和完全处理，以及各个选项的适用场景。详细探索如何配置主摄像头、长焦摄像头以及超广角摄像头，实现 2400 万像素和 4800 万像素照片拍摄。此外，了解延迟照片处理如何让你的 App 在拍摄更多照片时也能保持响应灵敏。

章节

0:00 - Introduction
0:52 - High-resolution photos
4:07 - Types of captures
5:20 - Configure a capture session
9:41 - Responsive capture best practices

资源

相关视频

WWDC26

WWDC23

打造更流畅的相机体验

WWDC21

你好我是Mohit Setia 我是Camera Software团队的工程师欢迎收看 "实现高分辨率照片拍摄" 相机硬件的进步和计算摄影的发展使高分辨率拍摄成为可能但要充分发挥这种画质的优势就需要权衡各种因素尤其是处理时间与最终图像质量之间的权衡我将介绍高质量照片处理以及如何在你的App中管理这些权衡首先我将介绍不同类型的高分辨率照片

然后介绍如何配置和拍摄最后我将讨论如何让你的App 在整个过程中保持响应首先介绍高分辨率照片预览流提供屏幕分辨率的图像适合显示相机的画面但在摄影场景中需要更高的细节和低噪点

此外照片裁剪时也需要高分辨率图像放大细节或图像分析也是如此高分辨率拍摄正是为了解决这一问题下面来介绍它们的定义高分辨率照片 — 通常为1200万像素以比预览流更高的分辨率拍摄场景

2400万和4800万像素更进一步相机以更高的分辨率进行拍摄这意味着更多的细节和清晰度从iPhone 14 Pro 和iPhone 14 Pro Max开始相机系统搭载了 4800万像素Quad传感器四像素传感器设计允许以全分辨率拍摄照片呈现最高级别的细节或将同色像素以2×2分组以捕获更多光线这是在iPhone上拍摄的一张4800万像素照片照片展现了壮阔的海岸景观悬崖沙滩和延伸至天际的海洋分辨率是标准照片的四倍由传感器的单帧拍摄而成注意海岸100%裁剪下细小的岩石细节清晰可见令人叹为观止以及山体侧面复杂的纹理这就是4800万像素的魅力所在更多细节更高清晰度更多可探索的内容从iPhone 15开始相机支持2400万像素照片 2400万像素照片拍摄由多个步骤组成首先相机使用Quad传感器上的合并像素生成1200万像素的多帧融合高动态范围图像然后名为Photonic Engine的计算图像处理管线将其与高分辨率 4800万像素图像融合以全传感器分辨率拍摄获取丰富细节

最终生成质量出色的2400万像素图像分辨率是1200万像素图像的两倍文件大小仅增加约50% 兼顾了光线和细节同时保持文件大小便于存储和分享从iPhone 15开始相机App 默认使用此拍摄模式 2400万和4800万像素拍摄支持已扩展至iPhone 16 Pro的长焦相机以及iPhone 17的超广角相机以上就是各款iPhone相机支持的高分辨率照片类型了解了iPhone上可用的高分辨率照片类型后下面介绍你可以在App中请求的高分辨率拍摄类型首先是最常见的情况 — 完全处理后的照片这是一张多帧融合图像它经过Photonic Engine处理以扩展动态范围并提升细节表现

第二是曝光包围同一场景的多张不同曝光帧适用于创建高动态范围照片拍摄以及需要从多重曝光中进行选择的场景第三是Bayer RAW照片 RAW格式直接从传感器获取最少处理的数据非常适合后期处理和编辑场景第四是Apple的ProRAW ProRAW将RAW的灵活性与iPhone的图像处理相结合在编辑曝光颜色和细节时提供更大的灵活性了解更多关于RAW格式的信息请观看WWDC21的《Capture and process ProRAW images》接下来我将介绍如何配置拍摄会话以实现高分辨率照片拍摄我将从创建AVCaptureSession开始然后配置会话

注意 — 只有照片预设支持 2400万和4800万像素照片其他预设不支持此功能接下来我将为App 选择合适的优先级设置速度优先拍摄最快处理量最少平衡优先提供中等速度和良好质量质量优先耗时最长但画质最佳更多详情请参阅 WWDC21的《Capture High-Quality Photos Using Video Formats》在配置AVCapturePhotoOutput时我将设置maxPhotoQualityPrioritization 设为quality 以演示高分辨率拍摄这会告知会话为所有三个优先级准备资源速度平衡和质量某些高分辨率选项是否可用取决于此设置稍后在本视频中会详细介绍接下来我将选择本次会话中请求的最大尺寸

从iOS 16开始你可以查看支持的最大照片尺寸在设备的活跃格式上查看 supportedMaxPhotoDimensions列出了当前格式下所有可能的照片尺寸这里我选择最大可用尺寸以作演示但你应根据自己的用例选择合适的尺寸

在提交会话配置前完成照片输出的配置

提交后更改这些设置会触发耗时较长的管线重新配置

准备好拍摄时设置maxPhotoDimensions 和photoQualityPrioritization 在AVCapturePhotoSettings中配置当前拍摄然后设置代理以拍摄照片设置maxPhotoDimensions 是一种请求而非保证系统会考虑光线水平场景和可用的处理资源并选择最优路径实际尺寸通过AVCaptureResolvedSettings 返回给你的代理它还会在拍摄完成时通知代理你可以在每次拍摄时自定义质量优先级和maxPhotoDimensions 这意味着你可以支持多种质量级别以及同一会话中的不同尺寸无需在拍摄之间进行耗时的重新配置高分辨率拍摄需要基于以下条件分配特定资源 photoQualityPrioritization 和maxPhotoDimensions 如果系统尚未预分配这些资源分配将在拍摄时发生 — 这可能会降低速度为避免速度降低请使用 setPreparedPhotoSettingsArray方法在AVCapturePhotoOutput上告知计划的拍摄方式

例如如果App具有 4800万像素模式在激活该模式后立即调用setPreparedPhotoSettingsArray 确保拍摄前资源已就绪以下是实现方法尽早创建 prepareSettings对象

设置适当的maxPhotoDimensions 和photoQualityPrioritization

然后调用setPreparedPhotoSettingsArray 之后准备好拍摄时创建与prepareSettings配置匹配的新captureSettings对象

请注意你不能复用prepareSettings对象进行实际拍摄

创建新设置对象但确保其配置匹配以便拍摄与预分配的资源对齐拍摄高分辨率照片需要处理大量像素

此处理可能需要几秒钟下面提供一些最佳实践以确保 App在此过程中保持快速响应照片请求后首先进入拍摄阶段然后进入处理阶段 AVCapturePhotoCaptureDelegate 在整个过程中接收通知例如 didCapturePhotoFor resolvedSettings 以及didFinishCaptureFor resolvedSettings 在处理过程中让App保持最新状态处理时间因所选择的照片质量优先级而有所不同质量优先的照片以最佳图像呈现通过更长的处理时间实现平衡优先的照片提供最优质量在常见情况下以适当的处理时间完成速度优先的照片是获取拍摄结果的最快方式但缺少长时间处理带来的画质提升

在所有三个优先级下均可拍摄1200万像素照片

4800万像素图像因为仅为单帧如前所述可在平衡或质量优先下使用 1800万和2400万像素是多帧融合图像处理时间更长只有质量优先才支持此表中的1800万像素仅适用于iPhone 17上的Center Stage前置相机了解更多关于 Center Stage前置相机请参阅 WWDC26的《Support Center Stage front camera in your iOS app》 AVCaptureResolvedSettings具有 photoProcessingTimeRange属性它告诉你照片传递到代理前的预计等待时间只有上一张照片处理完成后才能拍摄下一张两次拍摄之间的延迟称为连拍延迟在AVCapturePhotoOutput上启用响应式拍摄允许重叠拍摄上一张照片的拍摄阶段完成后即可开始新的拍摄无需等待处理完成观察AVCapturePhotoOutput上的captureReadiness属性以了解下一张照片何时可以拍摄这可减少第二张照片的连拍延迟帮助你不错过每一个精彩瞬间但请注意每张照片的处理时间与之前相同为进一步减少高质量拍摄的连拍延迟请采用延迟照片处理启用延迟处理后系统在拍摄后立即提供经过轻量处理的代理照片你通过 didFinishCapturingDeferredPhotoProxy 代理回调接收它最终照片处理以两种方式之一进行按需当你通过照片库请求最终照片时或在后台当系统判断条件适宜时例如设备处于空闲状态请观看WWDC23的《Create a More Responsive Camera Experience》深入了解延迟照片处理启用延迟照片处理可显著提升响应速度减少阻塞下一次拍摄的处理时间

这进一步减少了所有后续照片的连拍延迟

你现在可以在更短的时间内拍摄更多高质量照片

采用此方法后处理阶段所花时间大幅缩短而拍摄阶段保持不变延迟处理让系统可以花更长时间处理照片同时不阻塞下一次拍摄由于这项工作在后台进行不会与拍摄会话共享内存这使得多帧融合拍摄成为可能例如1800万和2400万像素

为进一步优先考虑响应速度请开启AVCapturePhotoOutput上的快速拍摄优先属性当你开启photoOutput上的快速拍摄优先时系统会检测到连续快速拍摄的情况

然后将照片质量从最高质量设置调整为平衡质量设置因此在照片拍摄时间线上当有人请求快速拍摄时系统会动态将照片质量优先级调整为平衡平衡拍摄在拍摄和处理上所需时间更少

结果是在快速拍摄时获得速度提升从iOS 27开始在iPhone 16和iPhone 17上系统还会稍后使用延迟处理来处理平衡快速拍摄这进一步减少了处理时间带来更长时间的更快拍摄体验为了说明这一点我正在报道 Camera团队成员的一场激烈球赛屏幕上是一个精彩赛事展开的篮球场首先在没有延迟处理的情况下开始响应式快门或快速拍摄优先注意我尝试拍摄篮球投篮时的拍摄按钮

它在处理照片时持续旋转导致我无法继续拍摄最终我只拍到一张投篮照片但我可以做得更好捕捉我想要的瞬间使用API来管理响应速度

我为下一次拍摄启用了延迟处理响应式快门和快速拍摄

这次拍摄按钮保持响应同时我捕捉到了最佳瞬间

当我按下拍摄按钮时 AVCaptureSession开始以质量优先拍摄照片但随着我继续拍摄它检测到快速拍摄并智能切换至平衡拍摄

差异显而易见一次受阻拍摄对比同一瞬间的五张响应式拍摄这带来了更出色的响应式拍摄体验在本视频中我分享了构建响应式照片拍摄App的最佳实践以最高质量和分辨率拍摄照片如果你正在构建照片拍摄App 请确定所需的分辨率 2400万和4800万像素等更高分辨率为用户提供更多细节以裁剪缩放和探索但需要更多内存和处理时间选择适合你需求的质量优先级速度平衡和质量各自在传递时间和图像质量之间取舍将级别与App的需求匹配如果你需要最高质量的拍摄请开启延迟处理和响应式拍摄没有它们每张照片都会阻塞下一张用户可能会错过无法挽回的精彩瞬间要进一步优化你的相机App 请观看 WWDC26的《Build a responsive camera app that launches quickly》构建一个在需要时足够快速的相机体验在关键时刻对画质毫不妥协感谢观看

5:26 - Configure the AVCaptureSession

import AVFoundation

private let session = AVCaptureSession()
private func configureSession() {
    session.beginConfiguration()
    session.sessionPreset = .photo
}

6:11 - Configure AVCapturePhotoOutput

import AVFoundation

private let photoOutput = AVCapturePhotoOutput()
private let configurePhotoOutput: () -> Void = {
    photoOutput.maxPhotoQualityPrioritization = .quality // or .balanced
}

6:38 - Add maxPhotoDimensions to AVCapturePhotoOutput

import AVFoundation

let supportedMaxPhotoDimensions = device?.activeFormat.supportedMaxPhotoDimensions ?? []
if let largestDimension = supportedMaxPhotoDimensions.max(by: { lhs, rhs in
    Int(lhs.width) * Int(lhs.height) < Int(rhs.width) * Int(rhs.height)
} ) {
    photoOutput?.maxPhotoDimensions = largestDimension
}

session?.commitConfiguration()
session?.startRunning()

7:21 - Update AVCapturePhotoSettings

import AVFoundation

let settings = AVCapturePhotoSettings()
settings.maxPhotoDimensions = dimension.cmVideoDimensionsValue
settings.photoQualityPrioritization = .quality

var delegate: AVCapturePhotoCaptureDelegate?

// Configure photo request delegate

if let delegate {
 photoOutput?.capturePhoto(with: settings, delegate: delegate)
}

8:59 - Prepare resources for the capture

import AVFoundation

let prepareSettings = AVCapturePhotoSettings()
prepareSettings.maxPhotoDimensions = photoOutput.maxPhotoDimensions
prepareSettings.photoQualityPrioritization = .quality

photoOutput.setPreparedPhotoSettingsArray([prepareSettings]) { prepared, error in
  if let error = error {
    print("Failed to prepare: \(error)")
      return
  }
  print("Pipeline prepared: \(prepared)")
}

// Later, when ready to capture — create NEW settings
let captureSettings = AVCapturePhotoSettings()
captureSettings.maxPhotoDimensions = photoOutput.maxPhotoDimensions
captureSettings.photoQualityPrioritization = quality
photoOutput.capturePhoto(with: captureSettings, delegate: self)

0:00 - Introduction
The tradeoffs high-resolution photo capture requires — particularly between processing time and image quality — and what the session covers: photo types, configuring and capturing them, and keeping your app responsive.
0:52 - High-resolution photos
Explore the different photo resolutions available across iPhone cameras, including 12MP, 24MP, and 48MP, and how the photonic engine balances light and detail.
4:07 - Types of captures
Learn about the four types of high resolution captures you can request: fully processed photos, exposure brackets, Bayer RAW, and Apple ProRAW.
5:20 - Configure a capture session
An overview of AVCaptureSession setup for high resolution photos. Learn how to select quality prioritization, configure maximum photo dimensions, and preallocate resources.
9:41 - Responsive capture best practices
Keep your app fast and responsive by implementing overlapping captures, deferred photo processing, and fast capture prioritization to minimize shot-to-shot delay.

探索“入门汇总”

及时了解最新动态

探索“平台”

精选

探索“技术”

精选

探索“社区”

精选

探索“文档”

发布说明

探索“下载”

精选

探索“支持”

精选

快速链接

实现高分辨率照片拍摄

章节

资源

相关视频

WWDC26

WWDC23

WWDC21