Foundation Models 프레임워크의 새로운 기능

안녕하세요, 환영합니다! 저는 Erik입니다! 저는 Zhen입니다! 지난해 저희는 Foundation Models 프레임워크를 소개했습니다 guided generation, snapshot streaming 같은 기능과 강력한 tool 프로토콜을 갖추고 있었죠 여러분의 뜨거운 반응에 Foundation Models 프레임워크 첫 해에 정말 놀랐습니다 올해 준비한 내용은 더욱 마음에 드실 거라 생각합니다! 올해 프레임워크의 모든 새로운 내용을 함께 살펴보겠습니다 이번 릴리스는 정말 알차게 구성되어 있습니다! 2027 릴리스는 OS 내외의 통합, 다양한 모델, 에이전틱 경험 구축을 위한 새로운 기본 요소에 초점을 맞췄습니다 가장 흥미로운 업데이트부터 시작해 보겠습니다 Foundation Models 프레임워크가 오늘 발표하는 새로운 API 다수를 포함해 오픈 소스로 공개됩니다! 그것도 멋지게요! 핵심 프레임워크 외에도 새로운 패키지를 함께 공개합니다 Foundation Models framework utilities는 OS 릴리스 사이에도 업데이트되어 새로운 실험적 구성 요소에 접근할 수 있도록 합니다 이번 세션에서는 Foundation Models 프레임워크 생태계에 합류하는 여러 패키지도 소개합니다 함께 시작할 준비가 되셨나요? 저는 새로운 모델, 새로운 모달리티, 그리고 프레임워크에 추가되는 새로운 도구를 다룹니다 그리고 이를 최대한 활용할 수 있도록 새로 만든 API를 소개합니다! 최대한 활용하는 방법도 보여드리겠습니다! 일정이 꽉 찼습니다! 먼저 다양한 모델 업데이트를 살펴보겠습니다 온디바이스 모델 업데이트와 서버 모델 접근 기능이 포함됩니다 또한 새로운 시스템 도구가 추가되어 세션을 강화해 줍니다 Spotlight와 Vision 프레임워크의 도움으로요 그다음 Zhen이 다시 합류해 dynamic profiles라는 강력한 새 API에 대해 설명합니다 에이전틱 경험 구축을 위한 새로운 기본 요소입니다 Zhen은 새로운 Evaluations 프레임워크와 Foundation Models와의 긴밀한 통합도 소개합니다

마지막으로, Mac 전용 생산성 도구에 대한 흥미로운 소식도 있으니 끝까지 함께해 주세요! 새로운 모델부터 바로 시작하겠습니다!

이번 릴리스에는 새로운 온디바이스 모델이 포함됩니다 처음부터 새로 구축해 전반적으로 더 우수해졌습니다 더 똑똑해졌고 논리 및 tool 호출 능력이 향상됐습니다 iOS 26.4에서 모델의 컨텍스트 크기 확인과 명령어, 프롬프트, 트랜스크립트의 토큰 수 계산을 위한 새 API가 추가됐습니다 앞으로는 이 API를 활용해 실행 중인 기기의 하드웨어에 맞게 앱을 조정하세요 가이드라인 개선에도 많은 노력을 기울였습니다 iOS 26.4에서 이미 일부 변경 사항을 느끼셨을 것입니다 오탐지 수를 줄이기 위한 조정이었으며 iOS 27에서도 계속해서 개선해 나가고 있습니다 또한 온디바이스 모델이 Vision 기능도 갖추게 됩니다

완전히 새로운 분야의 애플리케이션이 가능해집니다

API는 간단하며, 기존 prompt builder의 자연스러운 확장입니다

세션을 생성한 후 오른쪽에 있는 종이접기 사진에 대해 질문하고 싶다면 프롬프트에 이미지 첨부 파일을 텍스트와 함께 삽입하세요

이제 모델이 이미지에 대한 질문에 답할 수 있습니다

이미지 첨부 파일은 다양한 유형으로 생성할 수 있습니다 UIImage, NSImage,

CGImage Core Image 유형, CoreVideo Pixel Buffer, 파일 URL도 지원합니다 모델은 모든 크기와 가로세로 비율의 이미지를 지원합니다 특정 형태에 맞게 자르거나 패딩을 추가할 필요가 없습니다

임의의 이미지 크기가 허용되지만 이미지가 클수록 더 많은 토큰을 소비하고 지연 시간이 늘어납니다 이 모든 업그레이드 덕분에 온디바이스 시스템 언어 모델은 그 어느 때보다 강력해졌습니다 하지만 더 높은 성능이 필요하다면 완전히 새로운 PrivateCloudComputeLanguageModel로 Apple의 가장 강력한 서버 모델을 실행하세요 Private Cloud Compute 모델은 여러분이 잘 알고 사랑하는 많은 Apple Intelligence 기능을 실제로 구동하는 모델입니다 온디바이스 모델보다 훨씬 큰 모델이며 32,000 토큰 컨텍스트 윈도우를 제공합니다 그리고 강력한 새 기능인 추론 능력도 갖추고 있습니다 추론 모델은 신중하게 생각하도록 훈련되어 응답을 제공하기 전에 훨씬 더 나은 결과를 도출합니다 Private Cloud Compute를 사용하는 것은 이보다 더 쉬울 수 없습니다 모델 인스턴스를 생성하고 이를 사용해 언어 모델 세션을 초기화하세요 세션에 프롬프트를 보낼 때 새로운 contextOptions 인수에 추론 수준을 지정할 수 있습니다 ReasoningLevel은 모델이 응답 전에 얼마나 생각할지를 제어합니다 심층 추론은 추가 연산 비용으로 더 나은 응답을 제공합니다 Private Cloud Compute의 가장 큰 장점 중 하나는 계정 설정을 걱정할 필요가 없다는 것입니다 인증 처리도 필요하지 않고 API 키 저장도 불필요합니다 완전히 seamless하게 작동합니다! 물론 Private Cloud Compute는 무엇보다도 프라이버시를 보호합니다 프롬프트는 절대 저장되지 않으며 독립적인 연구자들이 이를 검증할 수 있도록 공개합니다 또한 Private Cloud Compute 덕분에 Foundation Models 프레임워크를 watchOS에서도 사용할 수 있습니다 watchOS 27부터 가장 강력한 인텔리전스 기능을 손목에서 바로 사용하세요

PCC는 클라우드 API 비용 없이 제공되며 첫 다운로드 200만 건 미만의 개발자에게 제공됩니다 사용자들은 매일 PCC를 이용할 수 있으며 iCloud+를 구독 중이라면 한도가 더 높아집니다! PrivateCloudComputeLanguageModel에 대해 더 알고 싶다면

사용에 필요한 entitlement를 포함해 Private Cloud Compute 구축에 관한 영상을 꼭 시청하세요 새로워진 온디바이스 모델과 새로운 Private Cloud Compute 모델 외에도 모델 추상화 레이어를 개방해 거의 모든 언어 모델을 Foundation Models 프레임워크와 함께 사용할 수 있도록 합니다 추상화 레이어는 새로운 LanguageModel 프로토콜을 기반으로 하며 로컬 및 서버 모델 모두 LanguageModelSession을 지원할 수 있습니다 SystemLanguageModel과 PrivateCloudComputeLanguageModel 같은 기존 모델은 이미 이 프로토콜을 따릅니다 또한 두 가지 구현을 추가로 오픈 소스로 공개합니다 CoreAILanguageModel과 MLXLanguageModel입니다

Mac의 GPU에서 Apple Neural Engine을 통해 다양한 로컬 모델을 실행합니다 또한 뒤에서 열심히 작업해 다양한 최신 서버 모델에도 접근할 수 있도록 했습니다! Anthropic과 Google이 Swift 패키지를 출시해 최신 모델에 접근할 수 있도록 제공합니다! 모델 추상화 레이어를 통해 서드파티 모델 사용이 간단해집니다 Swift Package Manager로 언어 모델 패키지를 가져온 다음 사용할 모델을 초기화하고

세션 생성 시 전달하면 됩니다

이후 과정은 모두 동일합니다

서드파티 서버 모델을 사용할 경우 인증과 과금을 직접 처리해야 할 수 있습니다 앱 바이너리에 개인 키를 절대 저장하지 마세요 OAuth와 같은 안전한 방식으로 액세스 토큰을 가져오고 KeyChain을 사용해 안전하게 저장하세요 개발자는 서드파티 모델 사용 시 보통 토큰당 과금되므로 사용량 추적이 쉬워졌습니다 세션과 응답에 이제 usage 속성이 있어 사용된 토큰 수를 정확히 알 수 있습니다 입력 토큰 중 캐시에서 읽어온 수와 응답 토큰 중 추론에 사용된 수도 확인할 수 있습니다

LanguageModel 사용 방법이나 직접 LanguageModel 패키지를 만드는 방법이 궁금하다면 "Bring an LLM provider to the Foundation Models framework"를 참고하세요 모델 업데이트를 모두 살펴봤습니다! 다음은 시스템 도구입니다! 이번 릴리스에서는 여러 내장 도구를 도입해 LanguageModelSession을 강화합니다 시스템 제공 기능으로요 Foundation Models에는 이제 두 가지 기본 도구가 포함됩니다

Vision 프레임워크의 강력한 기능을 기반으로 합니다 BarcodeReaderTool은 모델이 바코드에서 정보를 읽을 수 있게 해주고 OCRTool은 모델이 이미지에서 구조화된 텍스트를 추출할 수 있게 합니다 두 도구 모두 모델이 시각 정보를 더 잘 이해할 수 있도록 도와줍니다 기본적으로는 할 수 없는 방식으로요 "What's new in image understanding" 영상에서 자세한 내용을 다루니 더 많은 정보를 원하신다면 시청해 보세요 또한 Spotlight 기반의 검색 도구도 도입합니다 완전한 로컬 Retrieval-Augmented Generation 구현을 위해서입니다 가장 많이 요청받은 기능 중 하나입니다 Retrieval-Augmented Generation, 즉 RAG는 최신 개인 또는 도메인 지식에 모델이 접근할 수 있게 하는 기술로 Spotlight 인덱스와 특별히 처리된 쿼리를 활용합니다 바로 이런 기능을 기다리셨다면 "LLM search using Core Spotlight"를 꼭 시청하세요 이번 릴리스의 새로운 모델과 SDK에 추가되는 새로운 시스템 도구를 모두 살펴봤으니 이제 Zhen에게 넘기겠습니다 에이전틱 앱 경험 구축을 위한 새로운 API에 대해 설명해 드릴 겁니다 기대해 주세요! Zhen, 시작하세요! 감사합니다, Erik!

dynamic profiles를 소개합니다 에이전틱 경험 구축을 위한 새로운 기본 요소입니다

crafts 앱을 살펴보며 dynamic profiles로 가능한 경험들을 확인해 보겠습니다 앱 안에서 종이접기 사진으로 일지를 작성할 수 있습니다 앱이 craft 분석 모드로 시작하는 세션을 생성하고 명령어는 모델에게 이미지를 분석하고 발견한 내용을 기록하도록 지시합니다 craft 유형, 색상, 소재를 파악하고 tool 호출을 통해 일지에 다시 저장합니다 그다음 앱이 브레인스토밍 모드로 전환됩니다 Private Cloud Compute의 추론 기능을 활용해 방금 학습한 모든 내용을 바탕으로 창의적인 종이접기 프로젝트 목록을 제안합니다 멋지죠? 이 기능을 구현하려면 LanguageModelSession을 생성하는 것부터 시작합니다 그런 다음 각자의 모델, 명령어, 도구를 가진 세션을 추가합니다

하지만 모델이 자율적으로 모드를 전환하게 하려면 어떻게 할까요?

복잡해지기 시작합니다

이런 에이전틱 시스템의 컨텍스트 관리와 오케스트레이션은 많은 보일러플레이트 코드가 필요합니다 그래서 Foundation Models에서는 새로운 선언적 API인 Dynamic Profiles를 도입합니다 컨텍스트에서 중요한 부분에 집중하고 명령형 제어에 덜 신경 쓸 수 있도록요 단일 언어 모델 세션 내에서 모두 가능합니다 간단한 dynamic profile을 만들려면 struct를 선언하고 DynamicProfile 프로토콜을 따르게 합니다 Profile을 포함하는 body 속성을 사용하면 됩니다

언어 모델 세션은 이제 DynamicProfile로 초기화할 수 있습니다

명령어와 도구를 지정할 수 있으며 바로 그 순간 컨텍스트에 존재해야 할 내용을 설정합니다 이것이 DynamicProfile의 가장 간단한 형태로 명령어와 도구로 구성된 데이터 구조입니다 두 가지 모드를 구현하고 싶습니다 하나는 craft 분석, 다른 하나는 브레인스토밍입니다 앱에는 모드 변수를 저장하는 observable 객체가 있어 이를 기반으로 분기할 수 있습니다

각 분기에서 LanguageModelSession은 서로 다른 명령어와 도구를 가져야 합니다

모델에게 도구를 줄 수도 있어 브레인스토밍 모드의 컨텍스트로 지능적으로 전환할 수 있습니다

때로는 컨텍스트 관리만으로는 충분하지 않아 서로 다른 작업에 다른 모델과 구성이 필요할 수도 있습니다 대화 기록을 유지하면서도요

crafts 앱에는 두 가지 시나리오가 있습니다 craft 분석과 브레인스토밍입니다 각각 이미 서로 다른 명령어와 도구 세트를 가지고 있습니다

craft 분석 같은 빠른 작업에는 SystemLanguageModel로 충분합니다 브레인스토밍으로 전환하고 싶다면 심층 추론으로 구성된 Private Cloud Compute를 지정할 수도 있습니다

이러한 구성을 설명하기 위해 modifier를 사용합니다

PCC를 지정하는 model modifier와 모델이 철저히 생각하도록 요청하는 reasoningLevel modifier입니다 이제 LanguageModelSession이 동적으로 구성된 모델, 도구, 명령어를 갖게 됩니다 앱이 서로 다른 모델 기능으로 다양한 컨텍스트를 처리해야 할 때 dynamic profiles가 최적의 선택입니다 중요한 점은 DynamicProfile이 언제든지 단일 활성 Profile로 해석된다는 것입니다 조건문을 사용해 어떤 Profile이 활성화될지 선택하면 프레임워크가 전환을 처리합니다 이제 crafts 앱에서 직접 확인해 보겠습니다 아이디어를 선택하면 모델이 Private Cloud Compute로 전환됩니다

분석의 전체 컨텍스트가 유지된 상태에서 창의적인 프로젝트 아이디어 생성에는 더 큰 모델의 기능이 유리합니다 더 나은 tool 호출과 폭넓은 세계 지식처럼요 Profiles는 컨텍스트 관리와 세션의 동적 구성을 훨씬 쉽게 해줍니다 이 API를 사용할 때는 프라이버시 경계, 모델 기능, 비용을 고려하세요 더 자세히 알아보려면 심층 탐구 세션을 참고하세요 "Build agentic app experiences with Foundation Models framework"

이러한 기능들이 강력하지만 언어 모델은 본질적으로 비결정론적입니다 그래서 동작을 예측하기 어렵습니다

Evaluations 프레임워크는 새로운 Swift 프레임워크로 인텔리전스 기능의 품질을 측정합니다 Evaluations 프레임워크를 사용하면 프롬프트를 조정할 때 정확도를 정량화할 수 있습니다 Evaluations는 여러분 같은 앱 개발자를 위해 만들어졌습니다 변경 사항의 통계적 영향을 이해하고 자신 있게 앱을 출시할 수 있도록요 Evaluations에 대한 자세한 내용은 이 세션들을 확인하세요

이제 방향을 바꿔 도구 및 오픈 소스 활동에 대해 이야기하겠습니다 macOS 27에서 모델이 커맨드 라인에서도 사용 가능합니다 fm CLI는 Apple Foundation Models를 사용하는 완전히 새로운 방법으로 일상적인 생산성 향상을 위해 제공됩니다 터미널에서 온디바이스 모델과 PCC에 접근할 수 있습니다 fm 명령어만 사용하면 됩니다

fm에는 유용한 도움말이 있어 지원하는 모든 기능을 보여줍니다

앱 기능을 위해 fm chat으로 모델을 실험해 왔습니다 보여드리겠습니다 "종이접기에서 valley fold란 무엇인가요?"라고 물어보겠습니다

간단하죠 바로 이렇게요 fm을 셸 스크립트에 연결해 문서 요약, 정보 추출, 콘텐츠 생성도 할 수 있습니다 예를 들어, 임의의 이름을 가진 사진들이 있습니다

이 사진처럼 IMG_1234입니다 fm에게 이미지 내용을 기반으로 파일 이름을 생성해 달라고 요청합니다

보세요! 멋지고 설명적인 이름을 바로 만들어냈습니다!

데이터 과학자나 연구자로서 Python 생태계에서 작업하신다면 Python용 FoundationModels SDK도 지원합니다

Python SDK를 통해 동일한 온디바이스 모델에 직접 접근할 수 있습니다 Swift Foundation Models 프레임워크를 구동하는 바로 그 모델입니다 모델 가용성을 확인하거나 몇 줄의 Python 코드로 응답을 생성할 수 있습니다 SDK에는 Swift 프레임워크의 핵심 기능이 포함되어 있어 프롬프트에서 구조화된 응답까지 몇 초 만에 처리할 수 있습니다 자세한 내용은 이 세션을 확인하세요 "Build AI-powered scripts with the fm CLI and Python SDK" Mac의 생산성 기능을 살펴봤으니 오픈 소스에 대해 이야기하겠습니다

Foundation Models framework utilities부터 시작합니다

Utilities에는 구성 요소 모음이 포함됩니다 LLM 활용의 새로운 방식을 탐구하는 데 도움이 됩니다

트랜스크립트 관리를 위한 profile modifier와 절차적 지식 로딩을 위한 skill API 그리고 서버와 인터페이스할 수 있는 언어 모델을 제공합니다 Chat Completions 표준을 사용합니다 이것은 시작점에 불과합니다 도구와 트렌드는 진화하며 Foundation Models framework utilities는 여러분과 함께 성장합니다

utilities 패키지 외에도 FoundationModels 프레임워크의 핵심도 오픈 소스로 공개됩니다 Foundation Models 프레임워크의 오픈 소스화로 LLM과 상호작용하는 훌륭한 솔루션이 됩니다 Linux 서버를 포함해 Swift가 실행되는 모든 곳에서요 Anthropic, Google 같은 다른 모델 제공업체와 함께 CoreAI 및 MLX 통합을 통해 어디서든 어떤 모델이든 실행할 수 있습니다 돌아오신 것을 환영합니다, Erik! 마무리 준비가 됐나요? 네, 잘 마무리해 줬어요, Zhen!

저희만큼 여러분도 이 모든 새 기능들에 흥분하셨으면 합니다 모델과 API들요 이것은 시작에 불과합니다 맞습니다, 더 자세히 알아보려면 다른 영상들을 꼭 확인하세요 여기서 소개한 모든 주제의 심층 탐구를 위해 Evaluations 프레임워크부터 Private Cloud Compute, 강화된 Xcode 도구, dynamic profiles의 세부 사항까지요 좋은 다음 단계는 샘플 앱을 탐색해 dynamic profiles를 더 알아보고 Evaluations 프레임워크와 친해지는 것입니다 팀 전체를 대표해서 함께해 주셔서 감사합니다! 감사합니다!