Core ImageによるRAW画像処理の強化

Core ImageによるRAW画像処理の強化

Core ImageによるRAW画像処理APIのバージョン9では、Apple Neural Engineを使用してパフォーマンスを最適化しつつ、画像のシャープネスを高め色をより詳細に定義することで、アプリの画質を劇的に向上させます。CIRAWFilter APIを使用すると、露出、ノイズリダクション、シャープネス、コントラストなどを変更してRAW写真を編集できる機能をユーザーに提供できます。タイルサイズやバッファ管理を細かく制御してパフォーマンスを最適化できるようにする、各種の新しいCIImageProcessor APIも紹介します。

関連する章
- 0:00 - Introduction
- 0:52 - How Core Image supports RAW
- 2:48 - The evolution of RAW support
- 3:33 - RAW 9 overview
- 3:56 - RAW 9 quality improvements
- 5:50 - Enable and edit RAW 9 with CIRAWFilter API
- 8:33 - RAW 9 performance overview
- 9:19 - Interactive editing
- 10:52 - Exporting to other formats
- 11:50 - New CIImageProcessor features
リソース
- Extended Virtual Addressing Entitlement
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC22
- Core Image、Metal、SwiftUIでのEDRコンテンツの表示
WWDC21
- ProRAW画像の撮影と処理
みなさん、ようこそ。 David Haywardです Core Imageの機能強化と RAWイメージファイルのサポートについてお話しします
主に4つのトピックについてお話ししますまず、カメラからの RAWイメージファイルが AppleプラットフォームのCore Imageでどのようにサポートされるかを説明します iOSにおける重大な RAW品質の改善点をご紹介します iPadOS、macOS、そしてvisionOS 27での改善です
次に、RAWレンダリングにおける最適なパフォーマンスの実現方法を説明します
最後に、AppleがRAW向けに CIImageProcessorクラスに追加した機能を紹介します
まず、Core ImageのRAWサポートの概要をお伝えします RAWファイルは多様なカメラメーカーやモデルから生成されますが HEIFやJPEGとは異なり表示前に特別な処理が必要です
最初のステップはファイルのメタデータを解析して RAWセンサー値をアンパックすることですこの段階では各ピクセル位置にモザイクパターンで配置された赤、緑、または青の値だけがありますこのパターンが見えるよう大幅にクロップされたイメージです次のステップでセンサーデータをデモザイクして各ピクセルに赤、緑、青の値を持たせます
続いてピクセルをデノイズ処理しますフォトンノイズ、リードノイズ、熱ノイズを除去しますその後コンボリューションを適用してエッジをシャープにしローカルコントラストを加えます
最後の主要ステップはホワイトバランス、露出カラーとトーンを調整して美しい最終イメージを作ることですこれらすべてのステップのアルゴリズムは iOSに組み込まれています iPadOS、macOS、そしてvisionOSにも搭載されています Finderなどのシステムアプリで RAWファイルを表示できますプレビューやフリーボードでも可能です
Image IO APIを使用するアプリやフレームワークはどれでも RAWサポートが自動的に有効になります
基本的な表示を超えて CIRAWFilter APIを使用するアプリは高度な編集コントロールを提供できます
このAPIは写真や Pixelmator Proなどのアプリが使用しています NitroやAcornをはじめ多くのアプリにも活用されています
2006年当初システムには21機種向けの手調整されたキャリブレーションのみがありましたそれ以来、その数は 784機種にまで増加しました主要カメラベンダーのすべてをカバーしています iPhoneカメラ向けの Apple Pro RAWファイルのサポートも含まれています
しかしRAWの重要な機能は何年も前に撮ったお気に入りの写真を最新の最先端アルゴリズムで再処理できることです AppleのRAW処理パイプラインはこれまでに8回更新されてきましたデモザイク、デノイズ、カラーが毎回改善されています古いバージョンの一部は引き続き維持されており希望する場合は引き続き使用できます
そして今、Appleは最大のアップデートを発表しました：RAW 9！
このバージョンはRAWファイルのレンダリングを劇的に改善しますタイル型CoreMLモデルを基盤として構築されており最高品質のためにデモザイクとデノイズを組み合わせていますこのモデルはApple Neural Engineのコアを使いデバイス上で実行されます最適なパフォーマンスを実現します
改善点をより詳しく見てみましょう
RAW 8を使用した低ノイズイメージの拡大クロップです Sony Alpha 7 IIで撮影したこのビンテージ計器のイメージは実はかなり良い仕上がりですしかし同じイメージをRAW 9で見るとイメージはよりシャープで鮮明になり細かいテキストも読みやすくなります
高ノイズのイメージを見ると違いはさらに顕著ですまず、このRAWデータを観察してください非常にノイズの多い ISO 51,200のイメージに含まれています
Canon 5D Mark IIIを使ったこの例ではクレヨンの箱を 10倍クロップしたイメージです RAWデータには輝度ノイズと色ノイズが非常に多く各クレヨンの固有の色を識別することができません従来のアルゴリズムを使用するとこの結果になります！
RAW 8はシーンの実際の色をある程度回復しましたが RAW 9での結果を確認すると出力結果は格段に優れています色が正確ではっきりしていますクレヨンの光沢ある鏡面ハイライトも見えています
最後の例は刺繍糸の写真のクロップです Fujifilm X-T5を使用して ISO 12,800で撮影されましたこのカメラは非従来型のセンサーパターンを持ちデモザイクが困難です RAW 8の結果では糸に色のアーチファクトとディテールの損失がありますしかし同じイメージを RAW 9で見ると結果は明らかに優れています小さなテキストが読みやすくなり糸のテクスチャもより鮮明です
アプリケーションでRAW 9を有効にする方法を見てみましょうまず、CIRAWFilter APIを使って RAWファイルを読み込みますこのAPIはWWDC 21の "Capture and process ProRAW images"で詳しく説明されています
ただし、RAW 9はデフォルトでは有効になっていないことに注意してください supportedDecoderVersionsプロパティに version9列挙型が含まれているか確認してください含まれている場合は decoderVersionプロパティを version9に設定してオプトインできます
RAW 9をサポートするカメラモデルを確認するには supportedCameraModelsという新しいクラスメソッドがありますこのAPIはアプリに指定バージョンでサポートされているすべてのモデルの配列を提供します iOS、iPadOS、macOS、 visionOS 27のリリースでは RAW 9を使用できる数百ものモデルが追加されます主要なプロフェッショナルカメラベンダーすべてが含まれますこのカメラリストは OSの無線アップデートを通じて拡張されます RAW 9はDNGをネイティブで撮影するカメラにも自動的にサポートされます Apple iPhoneなどがその例です
CIRAWFilter APIの真のパワーが発揮されるのはアプリがプロパティを変更するときですこれによりRAWファイルの表示方法をカスタマイズできます
現在、調整できるキャリブレーション済みプロパティは20個ですアプリにこれらの調整機能を組み込んでください RAWイメージ編集のフルパワーを活用できます RAW編集で最も重要なコントロールはこちらです：露出：イメージの明暗を調整するコントロールです luminanceNoiseReductionAmount 輝度グレインの可視量を調整します sharpnessAmount：エッジのシャープネスの度合いを決定します
contrastAmount：エッジ付近のローカルコントラストの適用量を変更します
これらのコントロールは RAW 9でさらに効果的になりました
RAW 9では不要になったプロパティもあります colorNoiseReductionAmountプロパティは効果がなくなりました CoreMLモデルが色ノイズリダクションを自動的に処理するためです
また、detailAmountと moireReductionAmountプロパティも RAW 9では不要となりサポートされなくなりました
isSupportedプロパティを呼び出してプロパティがフィルタインスタンスで機能するか確認できます
RAW 9の外観と動作を理解したところでそのパフォーマンスについて説明します根本的に、このような品質向上を実現するために RAW 9は旧バージョンよりパフォーマンスとリソースを多く消費します RAW 9はイメージごとに CoreMLモデルを数百回実行しますがアプリがCIRAWFilterのプロパティを編集しているときでも後続のレンダリングは高速でレスポンシブです
Core Imageが中間結果をキャッシュするためです最適なパフォーマンスを得るためのベストプラクティスはアプリがRAWファイルをどのように使用するかによって異なります最も一般的な2つのユースケースの推奨事項をお伝えしますまず、インタラクティブ編集のユースケースについて説明します
インタラクティブ編集とは 1つのRAWファイルを画面解像度で複数回レンダリングすることです通常は、アプリがCIRAWFilterのプロパティを調整するたびに行います露出やシャープネスなどです RAWをインタラクティブに編集する際は CIRAWFilterの scaleFactor プロパティを使用します縮小サイズでイメージを表示する場合ですこれは重要で、表示解像度を超えるメガピクセルを持つイメージのレンダリング作業を軽減します
ビューごとに1つのCIContextを使用し cacheIntermediatesオプションをtrueに設定しますキャッシュにより負荷の高い CoreMLの処理をスキップできますアプリがCIRAWFilterのプロパティを調整する際に有効です
Core Imageはレンダリング間のキャッシュにより多くのメモリを使用しますアプリに"Extended Virtual Addressing entitlement"を追加すると有効です AppleのWebサイトに詳細なドキュメントがありますまた、Metal対応ビューへ直接レンダリングしてくださいこれにより繰り返しレンダリングのパフォーマンスが向上します Metalが次のフレームの作業を開始できるためです前のフレームが完了する前でも可能です MTKViewへのレンダリングの詳細については "Display EDR content with Core Image, Metal, and SwiftUI" WWDC 22を参照してください
インタラクティブ編集のアドバイスに続いてファイルをエクスポートする際の重要なヒントをお伝えします
エクスポートのユースケースとは複数のRAWファイルをそれぞれフル解像度で1回レンダリングして HEIFやJPEGなどの他のフォーマットに変換することです
このケースのベストプラクティスは CIContextを使ってエクスポートし cacheIntermediatesオプションを falseに設定することです
また、Core Imageに各エクスポート時により多くのメモリを使用するよう指示できますコンテキストの memoryLimitオプションを設定します iOSではデフォルトの制限が保守的な256メガバイトです 512または1024メガバイトに設定するとパフォーマンスが大幅に向上します
コンテキストメソッドを使うことでメモリ使用量をさらに削減できます Image IOを直接呼び出す代わりに heifRepresentationやjpegRepresentationを使います最後のセクションでは CIImageProcessor APIの改善についてお話しします
RAW 9はCIImageProcessor APIを使用しています CoreMLを他のCIKernelと組み合わせるアルゴリズムを可能にするためです
この取り組みの結果として Core Imageチームは2つの機能を CIImageProcessor APIに追加しましたアプリで活用できるかもしれません最初にお話しするのは明示的な出力タイルサイズのサポートです
これは典型的な CIImageProcessorクラスの例です region of interestコールバックを実装しています指定した出力矩形にどれだけの入力が必要かを定義します
最も重要なのは processコールバック内で input.regionとoutput.regionを認識する必要があることですプロセッサが操作すべき領域ですメモリが十分にある場合 Core Imageはprocess関数を呼び出しますイメージ全体の output.regionで呼び出されますメモリが限られている場合は output.regionが大幅に小さくなる場合があります
プロセッサは出力タイルサイズを明示的に制御できるようになりましたプロセッサクラスのコードは以前と同じですが任意の出力領域を使用するよう Core Imageに指示できます
まず配列を作成しますイメージをカバーするすべての希望タイルを配列に追加しますこの例では、タイリング戦略が入力イメージの範囲を取得して 512×512ピクセルのタイルに分割しますプロセッサを使用するイメージを作成する際は applyメソッドを呼び出しイメージをカバーするタイル配列を渡します
明示的な出力タイルサイズについて説明しましたので最後のトピックはテンポラリバッファ機能です
CoreMLを呼び出すCIImageProcessorがテンポラリバッファを使用することは一般的です Core Imageはインターリーブ形式のイメージバッファを使用するため CoreML用にプレーナーデータに変換する必要があるためですプロセッサコールバックが多くのタイルに対して呼び出されるとテンポラリバッファが繰り返し作成・破棄されますこれはパフォーマンスに影響します CIImageProcessorOutputクラスに解決するメソッドが追加されました仕組みを説明します！
シンプルなCIImageProcessorクラスの例を見てみましょうテンポラリバッファ機能を使用しています入力から出力への直接処理の代わりにこのコールバックはスクラッチバッファを要求します outputオブジェクトにテンポラリのCVPixelBufferを求めます
その際、識別子を提供しますこれは、複数のテンポラリバッファを使用する processコールバックで重要です
次に、このプロセッサの例は入力ピクセルバッファからテンポラリバッファにコピーしてテンポラリバッファのピクセルをインプレースで変更し出力にコピーします Core Imageはテンポラリバッファのライフサイクルを管理します自動的にリリースされ適切なタイミングで解放されます次のタイルでプロセッサが呼び出されると再利用されますここで重要なポイントをまとめますアプリでRAW 9を試してください大幅な品質向上です有効にするのも数行のコードだけです
パフォーマンスのベストプラクティスに従ってください高速なエクスポートとレスポンシブな編集のために説明したものです
アプリにCIRAWFilterの強力な編集プロパティへのアクセスを提供してください RAWイメージの表示を細かく調整できるようになります最後に、CIImageProcessorで最適なパフォーマンスを得るために明示的タイリングとテンポラリバッファAPIを使用してください個人的に、20年以上にわたって RAWで撮影してきた 7000枚以上の家族写真のライブラリを見直すのが楽しかったですノイズリダクションの品質向上を実感できて本当に良かったですアプリをご利用の方々もこれらの改善を楽しんでいただけると思いますご視聴ありがとうございました！

let exportCtx = CIContext(options : [
  .cacheIntermediate : false,
  .memoryLimit : 512 ])

12:23 - CIImageProcessor with explicit output tile sizes

import CoreImage

class MyProcessor: CIImageProcessorKernel {
    override class func roi(forInput input: Int32,
                            arguments: [String : Any]?,
                            outputRect: CGRect) -> CGRect { return outputRect }
    
    override class func process(with inputs: [CIImageProcessorInput]?,
                                arguments: [String : Any]?,
                                output: CIImageProcessorOutput) throws {
        guard let input = inputs?.first,
              let iBuffer = input.pixelBuffer,
              let oBuffer = output.pixelBuffer else { return }
        
        let iRegion = input.region
        let oRegion = output.region // controlled by Core Image
        
        // MyCopyBuffer(iBuffer,iRegion, oBuffer,oRegion)
    }
}

let extent = inImg.extent
let tileSize = 512.0 // whatever tile size you want
var tiles: [CIVector] = []
for y in stride(from: extent.minY, to: extent.maxY, by: tileSize) {
    for x in stride(from: extent.minX, to: extent.maxX, by: tileSize) {
        let tile = CGRect(x: x, y: y,
                          width: min(tileSize, extent.maxX - x),
                          height: min(tileSize, extent.maxY - y))
        tiles.append(CIVector(cgRect: tile))
    }
}

let result = try MyProcessor.apply(withTiledExtent: tiles, inputs: [inImg], arguments: [:])

14:24 - CIImageProcessor using temporary PixelBuffer

import CoreImage

class MyProcessor: CIImageProcessorKernel {
    override class func process(with inputs: [CIImageProcessorInput]?,
                                arguments: [String: Any]?,
                                output: CIImageProcessorOutput) throws {
        guard let input = inputs?.first,
              let srcPixelBuffer = input.pixelBuffer,
              let dstPixelBuffer = output.pixelBuffer else { return }
        
        // Get a scratch buffer from Core Image's cache
        guard let scratch = output.temporaryPixelBuffer(identifier : "myScratch",
                   format: kCVPixelFormatType_64RGBAHalf,
                   width: Int(output.region.width),
                   height: Int(output.region.height),
                   pixelBufferAttributes: nil) else { return }
        
        // Step 1: copy input CVPixelBuffer → scratch
        // Step 2: process pixels in scratch
        // Step 3: copy scratch → output CVPixelBuffer
    }
}

- 0:00 - Introduction
- Enhancements to Core Image and its support for RAW image files across Apple platforms.
- 0:52 - How Core Image supports RAW
- An overview of the RAW processing stages, including demosaic, denoising, convolution, and color adjustments, and their support in Apple's operating systems and developer frameworks.
- 2:48 - The evolution of RAW support
- A look at how Apple's RAW processing pipeline has evolved across nine versions, now supporting 784 camera models.
- 3:33 - RAW 9 overview
- Explore the new RAW 9 processing pipeline, which leverages a Core ML model to significantly improve demosaic and denoise for the highest image quality.
- 3:56 - RAW 9 quality improvements
- A side-by-side comparison of RAW 8 and RAW 9 demonstrating significant improvements in sharpness, color accuracy, and noise reduction.
- 5:50 - Enable and edit RAW 9 with CIRAWFilter API
- How to opt in to RAW 9 using CIRAWFilter's decoderVersion property, check which camera models are supported, and use the CIRAWFilter editing properties to give people full control over how their RAW images appear.
- 8:33 - RAW 9 performance overview
- Best practices for optimizing performance when using RAW 9.
- 9:19 - Interactive editing
- Best practices for rendering a RAW file repeatedly at screen resolution, including using the scaleFactor property, enabling cacheIntermediates, the Extended Virtual Addressing entitlement, and rendering to Metal-backed MTKViews.
- 10:52 - Exporting to other formats
- Best practices for exporting multiple RAW files to HEIF or JPEG at full resolution, including disabling cacheIntermediates, tuning the memoryLimit option, and using Core Image's heifRepresentation and jpegRepresentation methods.
- 11:50 - New CIImageProcessor features
- Discover new API features added to CIImageProcessor, including explicit output tile sizes and temporary buffers.

「今すぐ始める」を詳しく見る

最新情報

プラットフォームを詳しく見る

特集

テクノロジーを詳しく見る

特集

コミュニティを詳しく見る

特集

ドキュメントを詳しく見る

リリースノート

ダウンロードを詳しく見る

特集

サポートを詳しく見る

特集

クイックリンク

関連する章

リソース

関連ビデオ

WWDC22

WWDC21