アプリにビジュアルインテリジェンスを統合するためのベストプラクティス

アプリにビジュアルインテリジェンスを統合するためのベストプラクティス

ビジュアルインテリジェンスによって、アプリ内のコンテンツの発見をどのように変革できるかについて解説します。エンティティの定義や画像の処理を行う方法、複数の結果タイプの効果的な扱い方を確認しましょう。スピードと関連性を最適化するためのベストプラクティスや、ワンタップでコンテンツを開いたり再生したりするなどのダイレクトアクションを実現するためのIntentの使用方法を紹介します。

関連する章
- 0:07 - Introduction
- 2:02 - Defining your content
- 5:03 - Implementing a query
- 8:18 - Opening results
- 10:03 - Mac and iPad adoption
- 12:27 - Returning multiple result types
- 12:56 - Continuing search in your app
- 14:27 - System store integrations
- 17:16 - Next steps
リソース
こんにちは、Davidです。
System ExperienceのMLエンジニアです。
Visual Intelligenceを使って何かを作ってみましょう。このセッションでは、アプリをVisual Intelligenceと統合する手順をステップごとに説明し、ベストプラクティスもご紹介します。 Visual Intelligenceが導入されて以来、多くの人がそれを活用して周囲の情報を素早く把握しています。実際の周囲の環境であれ、 iPhoneの画面であれ。
今年は、連絡先への追加などの新機能を追加しました。複数のカレンダーイベントの保存や医療機器のログ記録も可能になります。
さらに、Visual Intelligenceを iPadとmacOSにも展開します。
では、アプリをこの体験に組み込むにはどうすればいいでしょうか? 実際に作りながら説明します。
私は音楽を聴いたり、新しい音楽を発見するのが大好きです。そこで、アルバムを発見したり近日開催のコンサートを見つけられるアプリを作りたいと思います。
今日作るものをご紹介します。これが私の音楽アプリです。アルバムを閲覧したり、近日開催のコンサートを確認したり、タップするだけで何でも聴き始めることができます。アルバムアートワークの写真やスクリーンショットを撮って、ハイライトして検索すると、マッチしたアルバムとコンサートが Visual Intelligenceに表示されます。近日開催のコンサートについての投稿をキャプチャして、
Visual Intelligenceを使ってイベントをカレンダーに追加することもできます。
するとコンサートがアプリに自動的に表示されます。このセッションが終わる頃には、これらすべての作り方がわかるようになります。 Visual Intelligenceとの統合を最大限に活用するには、いくつかのステップがあります。今日はそれをご紹介します。まず、App entitiesを使ってアプリから返すコンテンツを定義します。 App entitiesを使います。
次に、Visual Intelligenceが見つけられるようアプリのコンテンツを返すクエリを実装します。
それから、iOS以外にも統合を拡張して MacとiPadに対応させます。各プラットフォームの考慮事項も説明します。
最後に、システムストアとの統合を探ります。 Visual Intelligenceが抽出した情報をアプリが自動的に読み取れる一般的なデータストアをすでに採用しているかもしれません。 Image Searchの基本から始めましょう。 Image Searchの統合は App Intentsと Visual Intelligenceフレームワークの両方を活用します。 App Intentsが初めての方は、 WWDC25のこれらのセッションをご覧になることをお勧めします。
Image Searchの統合の最初のステップは、返すコンテンツを定義することです。
そのために、App Intentsフレームワークの App entitiesを使います。 App entitiesはアプリ内の名詞です。このアプリでは、Image Searchでまず視覚的に類似したアルバムを返したいので、アルバムエンティティを定義します。
コードで確認してみましょう。
まず、AlbumEntityを定義します。 Visual Intelligenceが検索結果に表示できるようにします。
まず、デフォルトのEntityQueryを追加します。そして、App entityで標準的な typeDisplayRepresentationを追加します。
次に、エンティティのコンテンツを定義します。
各AlbumEntityには識別子があります。 name、artistName、そしてアルバムアートワーク用のサムネイルデータが含まれます。
そして、displayRepresentationを追加します。これによって、Visual Intelligenceに各結果の表示方法を伝えます。
今定義した表示表現についてお話しましょう。
これはImage Searchの結果で最初に見えるものです。スペースはあまりありません。タイトルとサブタイトルに約3行のテキストが使えます。そしてサムネイル画像も表示されます。
最も重要な識別情報をここに置くことがベストプラクティスです。私の場合、アルバム名とアーティストです。
画像URLを使って displayRepresentationを初期化する場合は、画像URLを使う場合は、適切な場合はサムネイルサイズの画像を提供することをお勧めします。フル解像度のアセットへのリンクよりも効果的です。
例えば、常に複数の結果を返す場合は、小さい画像を使うと結果の読み込みが速くなります。そして2列レイアウトでも見栄えがよくなります。
ただし、1つの結果しか返さない場合は、この画像が結果シートの全幅を占めることを覚えておいてください。
エンティティの定義ができたので、 Visual Intelligenceは実際にどうやってアプリに結果を問い合わせるのでしょうか? それが Intent value queryの役割です。 Intent value queryは軽量なクエリプロトコルで、システムにエンティティの値を提供します。
すでにお持ちかもしれません。 Siriでアプリを動かすために App Intentsを採用していれば。
Visual Intelligenceでは、主な違いは入力にあります。システムがSemanticContentDescriptorを渡します。キャプチャされた画像に関する情報が含まれています。コードに戻って実装しましょう。
IntentValueQueryプロトコルを採用します。そして、SemanticContentDescriptorを入力として values for requirementを実装します。
本文では、入力から pixelBufferを取り出して、 catalog.searchメソッドに渡します。これがマッチしたアルバムを返します。
でも、その検索は実際にどのように機能するのでしょうか? 次に見てみましょう。
このアプリでは、保存済みアルバムのローカルカタログを使ってデバイス上で検索します。
Visionフレームワークを使います。コンピュータビジョンタスク向けの事前訓練された機械学習モデルを提供しています。
カタログの各エントリには featurePrintが含まれます。画像のコンパクトな数値表現で、画像の類似性を比較するために使います。
feature printを計算する関数を定義します。 GenerateImageFeaturePrintRequestを使います。
カタログ内のアルバムに対してこれを事前計算しておきます。クエリ時にこの計算を行う必要がないようにします。
クエリでは、まずpixelBufferを CGImageに変換します。 VideoToolboxを使います。次に、この画像の新しい feature printを生成します。
それをカタログの事前計算された feature printと比較します。最大距離しきい値を適用して類似していない結果をフィルタリングします。
最後に、類似度でソートして上位の結果を返します。
いくつか注目すべき点があります。アルバムカタログの feature printを事前計算して、クエリを高速に保ちます。
結果を類似度でソートして、最もマッチするものが先頭に来るようにします。デバイス上で検索する場合でもサーバーにアクセスする場合でも、同じ原則が適用されます。結果を素早くランク付けして返しましょう。
また、返す結果の数を制限することもお勧めします。関連性を確保するためです。
良いマッチが見つからない場合は、空の配列を返せます。システムが空のレスポンスの表示を処理します。
Visionフレームワークの APIも確認することをお勧めします。アプリで使える画像処理技術について詳しく学べます。 feature printで表面をなぞっただけですが、テキストの抽出などさらに多くのことができます。バーコードのスキャン、顔の検出、画像の分類など、いくつか例を挙げました。これらは非常に有用な技術です。アプリのビジュアル検索の機能を拡張するために役立ちます。
では、結果をタップしたときにアプリの適切な画面に誘導するにはどうすればいいでしょうか? そのために、OpenIntentが必要です。 Image Searchの結果でアルバムをタップすると、システムが選択されたエンティティでこのintentを呼び出します。
私のperformメソッドはアルバム詳細ページに移動します。
OpenIntentは選択したコンテンツに直接誘導する必要があります。
エンティティ用のOpenIntentがすでにある場合は、他の機能を動かすために App Intentsを採用したものでも、ここでも再利用できます。 Visual Intelligence専用に別のものを用意する必要はありません。
軽量に保つことをお勧めします。このメソッドはアプリがフォアグラウンドに来るときに実行されます。ナビゲーションを行い、重い処理はビューが表示されてから行いましょう。
これで基本的なImage Searchの統合に必要なものはすべてです。ここまで作ったものを見てみましょう。
友人がこのおすすめを送ってきました。 Visual Intelligenceを使ってアプリで聴き始めてみましょう。スクリーンショットを撮って、ハイライトして検索します。利用可能なプロバイダーからアプリを選択します。
クエリが機能しました。アルバムを見つけて上位の結果として返すことができました。
アプリは他の採用アプリと並んでここに表示されることも注目に値します。
システムが順序を決定するのはデバイスで利用可能な Image Searchプロバイダーに基づいています。この結果をタップすると、アプリのアルバムページに直接移動します。
これがエンティティ、クエリ、そしてOpenIntentが連携して動作している様子です。では、さらに多くのプラットフォームに対応させましょう。今年は、 Visual IntelligenceがiPadOSと macOSでも利用可能になります。同じAPIがこれらの新しいプラットフォームでも利用可能です。アプリへの変更は最小限で済みます。
IntentValueQuery、エンティティ、そしてOpenIntentはすべて iOS、iPadOS、macOSで動作します。これは先ほど書いたコードと同じです。
ただし、覚えておくべきプラットフォームの違いがいくつかあります。
iOSでは、人々はカメラを通じて Visual Intelligenceを使うことが多く、レコードやコンサートポスターなどの物理的なオブジェクトをキャプチャします。
macOSとiPadでは、メインのエントリーポイントはスクリーンショット、つまりデジタルメディアのキャプチャです。
検索が両方の種類のコンテンツをうまく処理できるようにしましょう。
Macでは、入力のpixel bufferが iPhoneよりもはるかに大きくなる場合があることを覚えておいてください。
ユースケースに応じてリサイズが必要かどうかを検討してください。
macOS向けにアプリをビルドしてどう見えるか確認しましょう。
同じ画像のスクリーンショットを撮ります。クエリやエンティティのコードを変更せずに、アプリのImage Searchが macOSで動作します。
結果は素晴らしいです。
基本をカバーしたので、アプリにさらに多くの機能を追加したいと思います。
視覚的に類似したアルバムだけでなく、そのアルバムのアーティストの近日開催のコンサートも検索できたらどうでしょう? そのために、UnionValueを使えます。
アプリはSemanticContentDescriptorを受け付ける IntentValueQueryを1つしか持てないので、各エンティティタイプ（アルバムとコンサート）にケースを持つ@UnionValue enumを定義します。
エンティティタイプが2つになったので、それぞれにOpenIntentが必要です。
次に、このunionタイプを返すようにクエリを更新します。
まず上位のマッチするアルバムを検索し、そのアルバムのアーティストを使って近くのコンサートを見つけ、それらを1つの結果リストにまとめます。
アプリで複数のタイプの結果を返すことが理にかなっているか検討してください。
単にピクセルのマッチングを超えた、アプリが返せるさまざまなコンテンツタイプについて考える価値があります。画像の類似性でアルバムを見つけて、そのアーティスト名を使って近くのコンサートを表示しました。全く異なる種類の結果です。
文脈に基づいて返すコンテンツのタイプについて自由に創造性を発揮してください。
最後のタッチとして、すぐに求める結果が見つからない場合のために、アプリ内で検索を続けられる簡単な方法を提供したいと思います。
そのために semanticContentSearchスキーマを使えます。 semanticContentSearchスキーマに準拠した intentを作成します。
システムがsemanticContentプロパティを自動的に提供します。これはpixel bufferを持つ、以前見たSemanticContentDescriptorと同じです。
performでは、アプリ内の検索ビューに移動します。事前に入力された検索結果と共に。
「もっと見る」をタップすると、アプリのフルな検索体験に移動します。 semantic content searchを使ってフルな検索体験に続けられる方法を提供することがベストプラクティスです。
入力コンテキストに基づいて検索ビューを事前に入力できます。ゼロから始めるよりも効果的です。
アプリはVisual Intelligenceの結果ビューよりもはるかに多くを表示できます。フィルター、カテゴリー、コンテンツの深さすべて。それを活用してください。
ここまで作ったものすべてを実際に見てみましょう。
同じアルバムのスクリーンショットをもう一枚撮ります。アプリがマッチするアルバムとコンサートを Visual Intelligenceに返します。
もっと閲覧したい場合は、「もっと見る」ボタンをタップするとアプリのフルな検索に移動します。
アプリがVisual Intelligenceに結果を提供することについてお話しました。しかし、もう一つの面もあります。
アプリはVisual Intelligenceからデータを受け取ることもできます。システムストアの統合を通じて。 Visual Intelligenceへの結果提供は Image Searchの統合を通じて行われます。これはここまで作ったものすべてです。
他のVisual Intelligenceのアクションはシステムストアにデータを書き込みます。これにより開発者は共有システムデータへのブリッジを得られます。
イベントはEventKitで読み取り、連絡先情報はContacts、医療機器の測定値は HealthKitで読み取れます。アプリがすでにこれらのフレームワークのデータストアから読み取っているなら、 Visual Intelligenceが自動的に新しい入力源になります。
このアプリでは、人々が興味を持っている近日開催のコンサートを把握して、事前に聴く曲を提案できるようにしたいです。 EventKitの統合を追加してこれらのイベントにアクセスしましょう。
これが私のUpcomingConcertManagerです。 EKEventStoreを使用しています。
カレンダーへの読み取りアクセスをリクエストして、近日開催のイベントをクエリします。
このアプリでは、近い将来のイベントをフィルタリングします。カタログのアーティストにマッチするものです。
通知オブザーバーも追加します。 Visual Intelligenceによって作成されたものも含む新しいイベントが自動的に表示されるようにします。
では最後のピースを見てみましょう。
近日開催のコンサートについてのソーシャルメディアの投稿をキャプチャすると、 Visual Intelligenceがイベントを検出してカレンダーに追加できます。
アプリを開くと、「近日開催のコンサート」にすでに表示されており、聴き始める提案もあります。
同じパターンが他のシステムストアにも適用されます。
Visual Intelligenceを通じて追加された連絡先は、たとえば名刺から、 CNContactStoreを通じてアクセスできます。
Visual Intelligenceによってキャプチャされた医療機器の測定値は、血圧計のディスプレイ、血糖値計や体重計から HKHealthStoreを使ってクエリできます。 HealthKitから読み取るヘルスまたはフィットネスアプリであれば、 Visual Intelligenceがデータを記録するための別の方法になります。手動入力なしで。今日は多くのことをカバーしました。まとめると、Visual Intelligenceはアプリに 2つの強力な統合ポイントを提供します。
Visual Intelligenceに結果を提供できます。 Image Searchを通じて。そして、Visual Intelligenceからデータを受け取ることができます。システムストアの統合を通じて。 Visual IntelligenceがiOS、iPadOS、macOSで利用可能になった今、統合はデバイス全体でユーザーにリーチできます。
詳しく知りたい場合は、デベロッパーウェブサイトで利用可能なドキュメントをご確認ください。
関連セッションも視聴してさらなる機能を探ることができます。 App IntentsとVisionフレームワークについて。
ご視聴ありがとうございました。

3:21 - Define the content you want to return as an App Entity

// Define the content you want to return as an App Entity
  import AppIntents
  
  struct AlbumEntity: AppEntity {
      var id: String
      @Property var name: String
      @Property var artistName: String
      var coverArtData: Data
      
      var displayRepresentation: DisplayRepresentation {
          DisplayRepresentation( 
              title: "\(name)",
              subtitle: "\(artistName)",
              image: .init(data: coverArtData)
          )   
      }   
      
      static let defaultQuery = AlbumEntityQuery()
      
      static var typeDisplayRepresentation: TypeDisplayRepresentation { "Album" }
  }   
  
  struct AlbumEntityQuery: EntityQuery {
      @Dependency var catalog: AlbumCatalog
      func entities(for identifiers: [String]) async throws -> [AlbumEntity] {
          catalog.albums(for: identifiers)
      }
  }

5:39 - Adopt IntentValueQuery to return results

// Adopt IntentValueQuery to return visual search results
  import AppIntents
  import VisualIntelligence
  
  struct SearchHandler: IntentValueQuery {
      @Dependency var catalog: AlbumCatalog
      @Dependency var concertFinder: ConcertFinder
      
      func values(for input: SemanticContentDescriptor) async throws -> [VisualSearchResult] {
          guard let pixelBuffer = input.pixelBuffer else {
              return []
          }   
          
          let albums = try await catalog.search(matching: pixelBuffer)
          
          return albums.map { VisualSearchResult.album($0) }
      }
  }

6:24 - Build a catalog of albums with precomputed feature prints

// Build a catalog of albums with precomputed feature prints
  import Vision
  
  @Observable
  class AlbumCatalog {
      static let shared = AlbumCatalog()
      
      struct CatalogEntry: Sendable {
          let album: AlbumEntity
          let featurePrint: FeaturePrintObservation
      }   
      
      private(set) var entries: [CatalogEntry] = []
      
      private func generateFeaturePrint(
          for image: CGImage
      ) async throws -> FeaturePrintObservation {
          let request = GenerateImageFeaturePrintRequest()
          let result = try await request.perform(on: image)
          return result
      }
  }

6:45 - Search the catalog for albums matching the captured image

// Search the catalog for albums matching the captured image
  func search(matching pixelBuffer: CVReadOnlyPixelBuffer, limit: Int = 10, maxDistance: Double = 1.0) async throws ->
  [AlbumEntity] {
      var cgImage: CGImage?
      _ = pixelBuffer.withUnsafeBuffer { VTCreateCGImageFromCVPixelBuffer($0, options: nil, imageOut: &cgImage) }
      guard let cgImage else { return [] }
      
      let queryPrint = try await generateFeaturePrint(for: cgImage)
      
      return try entries.compactMap { entry -> (album: AlbumEntity, distance: Double)? in
          let distance = try queryPrint.distance(to: entry.featurePrint)
          guard distance <= maxDistance else { return nil }
          return (entry.album, distance)
      }   
      .sorted { $0.distance < $1.distance }
      .prefix(limit)
      .map { $0.album }
  }

8:27 - Create an open intent to land users on the right screen

// Create an open intent to land users on the right screen
  import AppIntents
  
  struct OpenAlbumIntent: OpenIntent {
      static let title: LocalizedStringResource = "Open Album"
      
      @Parameter(title: "Album")
      var target: AlbumEntity
      
      @Dependency var appState: AppState
      
      func perform() async throws -> some IntentResult {
          await appState.openAlbum(id: target.id)
          return .result()
      }
  }

12:05 - Use UnionValue to return multiple visual search result types

// Use UnionValue to return multiple visual search result types
  @UnionValue
  enum VisualSearchResult {
      case album(AlbumEntity)
      case concert(ConcertEntity)
  }   
  
  struct OpenConcertIntent: OpenIntent {
      static let title: LocalizedStringResource = "Open Concert"
      
      @Parameter(title: "Concert")
      var target: ConcertEntity
      
      @Dependency var appState: AppState
      
      func perform() async throws -> some IntentResult {
          await appState.openConcert(id: target.id)
          return .result()
      }
  }

12:18 - Expand the IntentValueQuery to return the UnionValue

// Expand the IntentValueQuery to return the UnionValue
  struct SearchHandler: IntentValueQuery {
      @Dependency var catalog: AlbumCatalog
      @Dependency var concertFinder: ConcertFinder
      
      func values(for input: SemanticContentDescriptor) async throws -> [VisualSearchResult] {
          guard let pixelBuffer = input.pixelBuffer else {
              return []
          }   
          
          let albums = try await catalog.search(matching: pixelBuffer)
          
          let artists = albums.map { $0.artistName }
          
          let concerts = await concertFinder.findNearby(byArtists: artists)

          return albums.map { VisualSearchResult.album($0) }
              + concerts.map { VisualSearchResult.concert($0) }
      }
  }

13:13 - Provide a link to in-app search

// Provide a link to in-app search
  @AppIntent(schema: .visualIntelligence.semanticContentSearch)
  struct SemanticContentSearchIntent: AppIntent {
      static let title: LocalizedStringResource = "Search in app"
      static let openAppWhenRun: Bool = true
      
      var semanticContent: SemanticContentDescriptor
      @Dependency var catalog: AlbumCatalog
      @Dependency var concertFinder: ConcertFinder
      @Dependency var appState: AppState
      
      func perform() async throws -> some IntentResult {
          guard let pixelBuffer = semanticContent.pixelBuffer else { return .result() }
          let albums = try await catalog.search(matching: pixelBuffer)
          let artists = albums.map { $0.artistName }
          let concerts = await concertFinder.findNearby(byArtists: artists)
          await appState.openSearch(albums: albums, concerts: concerts)
          return .result()
      }   
  }

15:24 - Request calendar access and fetch upcoming concerts

// Request calendar access and fetch upcoming concerts
  import EventKit
  
  @Observable
  class UpcomingConcertManager {
      private let eventStore = EKEventStore()
      var upcomingConcerts: [EKEvent] = []
      var authorizationStatus: EKAuthorizationStatus = .notDetermined
      
      func requestAccessAndFetch() async throws {
          let granted = try await eventStore.requestFullAccessToEvents()
          guard granted else {
              authorizationStatus = .denied
              return
          }   
          authorizationStatus = .fullAccess
          await fetchUpcomingConcerts()

          // ...
      }
  }

15:42 - Filter for upcoming events that match known artists in our catalog

// Filter for upcoming events that match known artists in our catalog
  class UpcomingConcertManager {
      func fetchUpcomingConcerts() async {
          let predicate = eventStore.predicateForEvents(
              withStart: .now,
              end: .now.addingTimeInterval(90 * 24 * 60 * 60),
              calendars: nil
          )   
          
          let events = eventStore.events(matching: predicate)
          
          upcomingConcerts = events.filter { event in
              AlbumCatalog.shared.entries.contains { entry in
                  event.title?.localizedCaseInsensitiveContains(entry.album.artistName) == true
              }
          }
      }
  }

15:44 - Observe newly created events

// Observe newly created events
  @Observable
  class UpcomingConcertManager {
      // ...

      func requestAccessAndFetch() async throws {
          // ...

          for await _ in NotificationCenter.default
              .notifications(
                  named: .EKEventStoreChanged
              ) {
              await fetchUpcomingConcerts()
          }
      }
  }

- 0:07 - Introduction
- Visual Intelligence integration and what's new in iOS 26, iPadOS, and macOS, using a sample music-discovery app built throughout the session. Outlines the agenda: defining content, implementing a query, cross-platform adoption, and system store integrations.
- 2:02 - Defining your content
- Model your app's content as an AppEntity so Visual Intelligence can display it in search results. Covers the entity's DisplayRepresentation (title, subtitle, thumbnail) and best practices around concise identifying text and thumbnail-sized images.
- 5:03 - Implementing a query
- IntentValueQuery returns results from a SemanticContentDescriptor's pixel buffer — using the Vision framework's GenerateImageFeaturePrintRequest for on-device image similarity, with pre-computed feature prints and distance thresholds to keep results fast.
- 8:18 - Opening results
- Implement an OpenIntent to take people straight to the selected content. Keep it lightweight since it runs as the app foregrounds, and reuse an existing OpenIntent rather than creating one specific to Visual Intelligence.
- 10:03 - Mac and iPad adoption
- The same entities, query, and OpenIntent carry over to iPadOS and macOS with minimal changes. Account for platform differences such as camera versus screenshot input and the much larger pixel buffers on Mac that may need resizing.
- 12:27 - Returning multiple result types
- The @UnionValue type returns more than one entity type from a single query — here albums plus nearby concerts — encouraging you to derive related content rather than only matching pixels.
- 12:56 - Continuing search in your app
- The semanticContentSearch schema lets people continue into your full in-app search — pre-populating results from the captured context so they land on filters, categories, and deeper content.
- 14:27 - System store integrations
- Visual Intelligence can also write data your app reads back via system stores: events through EventKit (EKEventStore), contacts via CNContactStore, and medical-device readings via HealthKit (HKHealthStore). Observe store-change notifications so captured data appears automatically.
- 17:16 - Next steps
- Recaps the two integration points, Image Search and system stores, across iOS, iPadOS, and macOS. Points to documentation and related App Intents and Vision sessions.

「今すぐ始める」を詳しく見る

最新情報

プラットフォームを詳しく見る

特集

テクノロジーを詳しく見る

特集

コミュニティを詳しく見る

特集

ドキュメントを詳しく見る

リリースノート

ダウンロードを詳しく見る

特集

サポートを詳しく見る

特集

クイックリンク

関連する章

リソース