Core AIによるオンデバイスのAIモデルのアプリへの統合

みなさん、ようこそ。 私はCarinaです Core AIチームのメンバーです。 今日はオンデバイス インテリジェンスの世界に飛び込みましょう。

このセッションでは Core AIを使って アプリに追加できる新機能を紹介します。

私が制作した 言語学習アプリを紹介します。 ビジョントランスフォーマー モデルを使用し 大規模言語モデルと 組み合わせたアプリで すべてオンデバイスで 動作します。

Core AIは新しい テクノロジーのセットです。 高度なオンデバイスAI機能を アプリに直接組み込めます。

Core AIを使えば アプリ体験を構築できます。 ユーザーのデータが デバイスの外に出ることはありません。 管理すべきサーバも トークンあたりのコストもありません。 クラウドへの レイテンシもありません。 まだご覧でない方は Meet Core AIをご確認ください。 フレームワークの概要と 設計思想についても学べます。 APIの最適な使い方も 確認できます。

シンプルなところから 始めましょう。 私は学生が新しい言語の 語彙を学べるiOSアプリを開発しています。 まずは中国語(普通話)から 始めます。

手動でキュレーションした 語彙カードのセットを用意しました。 単語、翻訳、 使用例が含まれています。 ただしスケールが困難です。 これらすべてを静的に アプリに組み込む必要があります。

アプリにAIを 取り入れたいと思います。 どれほど素晴らしいことでしょうか。 学生が自分の庭にある ものにカメラを向けると または道路上の物体に向けると アプリがシーンから それを取り出してくれます。 そこから、学習中の言語で 語彙カードが生成されます。 どんな語彙デッキも 好奇心旺盛な学生には追いつけません。 でも、カメラと オンデバイスモデルなら可能です。

カードには自分の日常生活から 切り取った瞬間が登場します。 どこにいても 好きなときに学習できます。 コレクションも 自分と一緒に成長します。 これはすべてデバイス上で ローカルに動作します。

まず、このエクスペリエンスを 動かすモデルを特定します。 次に、アプリでそれらのモデルを 使うコードを書きます。 続いて、モデルのデプロイに関する 実践的な検討事項を探ります。 最後に、アプリのmacOS版を構築し アイデアをさらに広げます。 同じコードを再利用しながら より大きなモデルで新機能を解放します。 では、モデルの探索から 始めましょう。

まず、アプリの コア機能を定義する必要があります。

写真から始まり ユーザーが学びたいことについての プロンプトと組み合わせます。

入力をもとにアプリは ハイライトと抽出を行います。 ユーザーが要求したものを 画像から取り出します。

このセグメント化された画像が カードのグラフィックになります。

母国語でのテキスト入力から アプリは単語について 推論を行います。 語彙情報をすべて 生成します。 翻訳、 学習している言語での 自然な使用例 その使用例の 英語の意味。

これらを踏まえ 3つの要件があります。 1つ目はコンテンツです。 このアプリは 実世界での学習に関するものです。 キッチン、道路、オフィスなどの 環境に対応する必要があります。

2つ目は言語です。 モデルアーキテクチャは 最初から複数言語に対応する必要があります。

初回リリースでは 中国語(普通話)を対象とします。

3つ目はデバイスの制約です。 すべてiPhone上で オンデバイスで動作します。 そのためストレージと メモリの使用量を抑える必要があります。

モデルサイズの 選択が重要になります。 搭載するモデルの数も 考慮します。

いくつかの方向性を検討し モデルのドキュメントを確認しました。 プロトタイプを実行し AIアシスタントとアイデアを出し合いました。

結論は明確でした。 問題を2つの 小さなモデルに分解します。

1つ目は画像セグメンテーション専用の ビジョンモデルです。

2つ目は多言語対応の 大規模言語モデルです。 英語のラベルを受け取り 語彙、翻訳、 例文を生成します。

なぜデバイス上で 2つのモデルを使うのでしょうか。 タスク特化型モデルは より高い品質を実現します。 個々のサイズが小さく それぞれ独立してアップグレードできます。

各モデルを10億パラメータ未満の バリアントに絞っています。 これにより、デバイス上の 合計フットプリントを管理しやすくします。

画像セグメンテーションには SAM 3こと Segment Anything Model 3に注目しています。 SAM 3はビジョントランスフォーマー ベースの画像セグメンテーションモデルです。 アプリのニーズに ぴったり合った強力なモデルです。

学生がカメラを何かに向けると SAM 3がプロンプトに従って オブジェクトを正確に分離します。 カードのグラフィック用に クリーンな切り抜きを提供します。 プロンプトは言語モデルに 英語のラベルを提供できます。

言語モデルへの流れは シンプルです。 「Hummingbird」などの 英語のラベルを入力すると モデルがターゲット言語で 語彙情報を生成します。 4つのことが必要です。 多言語対応で 翻訳を正確に処理できること。 推論能力があり 文脈に合った例文が得られること。 構造化出力で 型付きフィールドを確実に埋めること。 コンパクトで ビジョンモデルと共にデバイスに収まること。

多くのオープンソース言語モデルが 強力な推論能力を持っています。 このサイズ範囲でも。 いくつかのクイックテストを行ったところ Qwenが際立っていました。 119の言語と方言に 対応しています。 また、推論モデルです。 単なる翻訳だけでなく 文脈に合った例文を生成できます。 語彙カード生成の 素晴らしい出発点です。

このモデルの 6億パラメータ版もあります。 私のアプリには 最適なはずです。 これらのモデルとその説明を HuggingFaceとGitHubで見つけました。 次の疑問は Core AIを使って これらをアプリに組み込む方法です。

1つの方法は、PyTorch表現から 直接変換することです。 Core AIのPyTorch 拡張パッケージを使います。

Core AI最適化パッケージを使った モデル圧縮も組み込めます。 このプロセスの詳細については 「Dive into Core AI model authoring and optimization」 をご確認ください。 そのセクションでは SAM 3モデルの変換方法も紹介しています。

Core AIはモデル最適化のための 強力なツールを備えています。 変換、そして直接のオーサリングも。 ただし、多くの人気モデルには 別の方法もあります。

Core AIモデルリポジトリは 大変有用なリソースです。 多くの人気モデルを収録し それぞれに変換スクリプトが含まれています。 Core AI形式で 最適化されたバージョンを生成します。 オプションのプラットフォーム固有の バリアントも含まれています。 Core AIモデルリポジトリを 見てみましょう。

models/はカタログです。 利用可能なモデルをブラウズして 目的のモデルのエクスポート手順に従います。 python/はエクスポート用の 再利用可能なユーティリティです。

ここでSAM 3と Qwenファミリーのモデルを見つけました。 エクスポート手順に従って Core AIモデルを取得しました。

では、統合について説明します。

モデルのエクスポート後 Finderに.aimodelファイルが生成されます。

SAM3モデルの中身を 見てみましょう。

Xcodeですべてを 検査できます。 サイズは623 MBです。 私のユースケースに合わせて iOS 27.0とmacOS 27.0に対応しています。 モデルに関する有用な情報が 見つかります。 サイズ、メタデータなどです。

タブをクリックすると モデルのインターフェイスが確認できます。 このモデルは3つの 別々の関数を公開しています。 たとえば、imageEncode関数を 見てみましょう。

入力は単なる画像ではありません。 特定の形状とデータ型を持つ テンソルです。 出力は密な特徴埋め込みです。

もう1つの関数はdetectです。 画像特徴にテキストプロンプトを 加えて受け取り 生のマスク、バウンディングボックス、 信頼スコアを出力します。 このモデルを直接使うには すべての前処理を書く必要があります。 カメラフレームを 適切な形式に変換するための前処理です。 また、生のテンソルを意味のある形に変換する 後処理も必要です。

Core AIモデルリポジトリが これらのモデル固有の前処理を助けてくれます。 および後処理タスクに役立ちます。

モデルとPython変換ユーティリティに加えて リポジトリにはランタイムライブラリの Swiftパッケージも含まれています。 ライブラリは入力時の テキストエンコーディングなどを抽象化します。 出力時のマスク抽出と ラベリングも含まれます。 テンソルの形状を扱う代わりに クリーンなSwift APIを呼び出すだけです。

リポジトリはすでにクローンしているので coreai-modelsを簡単に追加できます。 プロジェクトの依存関係として 追加して試してみます。

coreai-modelsのURLを Swift Packageとして追加すると CoreAILMを選択できます。 そしてCoreAISegmentationを アプリターゲットに追加するだけです。

では、この2つのモデルを アプリに統合するコードを見てみましょう。

CoreAIImageSegmenterは 画像セグメンテーションライブラリをインポートし SAM 3モデルの機能を提供します。 これにより、SAM 3モデルを ディスクから読み込めます。 次に、テキストプロンプトを使って セグメンテーションを実行します。 「flower」などのプロンプトで。

最後に最適な セグメンテーションマスクを抽出します。

次は言語モデルです。 読み込みはたった1行です。 CoreAILanguageModelを作成し モデルバンドルを指定するだけです。 これで準備完了です。 1行で、アセット読み込みと エンジン作成が完了します。 トークナイザーのセットアップも含め すべて抽象化されています。

ここではFoundationModelsを インポートしていることに注目してください。 これはすでにご存知かもしれない 同じフレームワークです。

ここが素晴らしい点です。 使用するにはLanguageModelSessionを 作成します。 AppleのオンデバイスLLMへのアクセスと 同じAPIです。 違いは、自分のモデルを 渡して使えることです。 同じsession.respond(to:)呼び出し 同じストリーミングサポート 同じ構造化出力機能。 Foundation Models APIの 使いやすさを享受できます。 どのモデルを実行するかを 選べる柔軟性も備えています。

ガイデッド生成もサポートしています。 これは私たちのユースケースにとって重要です。 モデルが自由形式のテキストを 生成する代わりに @Generableマクロを提供できます。 語彙カードの構造を 正確に記述するためのマクロです。 wordフィールド、translationフィールド、 例文フィールドがあります。

では、実際に動かしてみましょう。 写真を撮ります… そして待機中です。 セグメンテーションがまだ完了していないため カード生成に進めません。 明らかに何かが遅いです。

コードからわかるのは このスピナーを表示しているのは SAM 3モデルを初めてインスタンス化し プロンプトを送信するときです。 何が起きているか確認しましょう。

新しいCore AI Instrumentsで トレースを取得しました。 案の定、その時点で モデル読み込みイベントが発生しています。 特化処理のための 大きなサブイベントがあります。

特化処理とは Core AIモデルをデバイスで 実行できるように準備するプロセスです。 モデルが読み込まれると 確認が行われます。 すでに特化処理されて キャッシュされているかどうかです。 このプロセスは非常に大きなモデルでは かなりの時間がかかることがあります。 これがInstrumentsのトレースで 確認したことです。

以降の読み込みはキャッシュから 高速に行われますが 初回の読み込みは 計画的に対処する必要があります。

これがユーザー体験の 真っ最中に起きるのは… あまり良くないでしょう。 では、いつ行うべきでしょうか。 起動時に実行するか バックグラウンドで実行できますが ユーザーがまだこの機能に 興味がない場合は無駄に感じます。

より良いアイデアは専用の 初回起動体験を作ることだと思います。 この処理をそこで実行できます。 ユーザーが初めて機能について 学んでいる間に実行します。 これによりモデルの読み込みを 特化処理をインタラクティブフローから 切り離せます。

その変更を加える前に 少し立ち止まりたいと思います。 この機能のデプロイ戦略について より広く考えたいと思います。

うまくやりたい いくつかのことがあります。 これを既存アプリの アップデートとして提供するので 機能は見つけやすくても 必須にはしたくありません。 試したユーザーには 素晴らしい体験を提供したいです。 試さないユーザーも 以前と変わらず満足できるようにします。

初回起動体験は機能を説明する 自然な場所を提供してくれます。 スムーズな初回起動の 準備もできます。 モデルはアプリにバンドルされると 想定していましたが

確認したところダウンロードサイズが 1 GB以上増えていました。 アップデートする 全員に影響があります。 この機能を使わない人も 含めて。

そこで代わりに 機能紹介画面に モデルのダウンロードのみを トリガするボタンを含めます。 ユーザーが実際に 試したい場合にのみ。 これにはBackground Assetsを 使います。 詳細を知りたい方は 「Discover Apple-Hosted Background Assets」 をご確認ください。 昨年のWWDCからです。

実際の動きを 見てみましょう。

ユーザーが機能を 試したいと言うと モデルアセットをリクエストし ダウンロードの進捗を表示します。

完了したら 特化処理を開始します。

特化処理はメイン体験を 邪魔しなくなりました。

ただしまだ少し時間がかかります。 ユーザー体験にとって 少し不自然な待ち時間です。

幸い、Core AIにはここで役立つ 素晴らしい機能があります。

特化処理中にモデルは 2つの主要な変換を経ます。 まず、コアとなる コンパイル手順を実行します。

次に、実行可能な アーティファクトが生成されます。

これらのアーティファクトは 生成時のデバイスとOSに紐付けられます。

この2つのステップのうち コンパイルが最もコストがかかり 最も時間を要します。

Core AIツールチェーンを使えば 一部のコンパイルを事前に実行できます。 開発マシン上で コンパイル済みモデルを生成します。

そのコンパイル済みモデルは まだ特化処理が必要ですが 特定のユーザーのデバイス向けに。 作業量が大幅に減り 処理が格段に速くなります。

coreai-buildコマンドで 実行します。 モデルを入力として与えると オプションに応じて 特定のデバイスアーキテクチャを ターゲットにしたコンパイル済みモデルを生成します。

モデルに実行しコンパイル済みモデルごとに バックグラウンドアセットを作成しました。 アプリに少量のコードを 追加して 動作しているデバイスの アーキテクチャを検出します。 それに基づいて適切な アセットをリクエストします。

詳細はすべて developer.apple.comの記事 「Compiling Core AI models ahead of time」で確認できます。

これを統合しました。 事前コンパイルが 完了しました。 机の上には旅で 集めた石がいくつかあります。 実際に試してみましょう。

モデルの準備ステップは 以前より格段に短くなったはずです。 ユーザーはすぐに 使い始められます。

モデルが使用例を 提供してくれました。

コレクションに 保存できます。

もういくつかのオブジェクトを 試してみましょう。 大学のルームメイトからもらった 木片があります。 妹からもらったひまわりもあります。

これらは私にとって 大切なものたちです。 新しい言語を学ぶ中で それらを記録したいと思います。

以降の推論では キャッシュされたモデルアセットを使用します。 そのためユーザー体験は シームレスです。

私自身この機能を 大変楽しんでいます。 より充実したカードセットを 作成するのに役立つと思います。 1枚ずつ入力するより はるかに簡単です。 ただ私はコンテンツ制作の大半を Macで行っています。 そこで… Macにもこの機能を 持ち込んだら？ マルチプラットフォームについて 話しましょう。

これまでiOSで 構築してきた内容です。 SAM3がセグメンテーションを 担当します。 Qwen 0.6Bモデルが 語彙カードを生成します。 Core AIを使えばすべて 同じコードを再利用できます。 そのままMacでも 構築できます。

Macでは1単語ずつ 学習するわけではありません。 キュレーションをしています。 最近の旅行の写真が入った フォルダがあります。 それらすべてのカードを 一括生成したいと思います。 そこでバッチ処理レイヤを 上に追加します。 午後いっぱいかかった入力作業が 完全に自動化できます。

Macではメモリと処理能力が より豊富なため 同じモデルのより大きな バリアントに切り替えられます。 パラメータが多いほど 推論と出力品質が向上します。 キュレーションでは これが重要です。 モデルにより豊かな プロンプトを与えられます。 1つではなく複数の 例文をリクエストできます。 中国語のピンインを 生成させることもできます。 同じコード、同じAPIを呼び出し より高性能なモデルを使うだけです。

コンテキストが長くなれば 個々のカードを超えられます。 単語のカテゴリ全体をモデルに渡して カリキュラム作成を依頼できます。 簡単なものから複雑なものへと 順序付けてレッスンにグループ化します。 以前の語彙を再利用する 例文を書きます。 学生がすでに学んだことを 強化するためです。 1つのプロンプトで構造化された レッスンプランが完成します。

最近ドライブ旅行をしました。 撮った写真をiOSアプリに 取り込みたいと思います。

チョウ、石、花、湖、鳥などを セグメント化したいと思います。 すぐに写真のセグメント化作業を 並列処理で実行します。 すべての写真の すべてのオブジェクトを見つけます。 1枚の写真から 複数のカードを作成できます。

完了したら Qwen3 80億パラメータモデルで 生成を開始します。 より強力な推論モデルなので 出力前に考えていることが わかります。 実際、各単語のピンインが 正しいかどうかを確認しています。 使用例についても。

間違いやすいためです。 完了すると 複数の画像を持つカードが生成され アプリに配布できます。

私の教育をサポートする カリキュラムも生成されます。

開発したい新機能が たくさんあります。 開発に戻らなければなりません。 エージェントたちが呼んでいますので ここで締めくくりましょう。

Core AIを使えばマルチプラットフォームの アプリ体験を構築できます。 ユーザーのデータが デバイスの外に出ることはありません。 管理すべきサーバも トークンあたりのコストもありません。 クラウドへの レイテンシもありません。 モデルは準備できています。 ツールも準備できています。 Core AIを使えば 強力で プライベートなインテリジェンスを すべてのAppleプラットフォームに届けられます。 さあ、デバイス上で 強力な何かを構築しましょう。