Instruments로 에이전틱 앱 경험 디버깅 및 프로파일링하기

안녕하세요, AI Tools 엔지니어 Erik입니다 이 세션에서는 Instruments를 사용해 디버그하는 방법을 살펴볼게요 Foundation Models 프레임워크로 구현한 기능을 개발하는 데 활용할 수 있어요

Foundation Models API는 앱에 직접 접근 권한을 제공해요 기기 내 및 서버 기반 생성형 AI에 접근할 수 있어요 자연어를 이해하는 기능을 구현할 수 있어요 콘텐츠를 생성하고 사용자의 행동에 반응할 수도 있습니다

최고의 경험을 만드는 기능은 정적이지 않아요 컨텍스트에 따라 적응합니다 바로 Foundation Models API가 설계된 목적이에요 DynamicInstructions를 사용하면 어떤 지침과 모델이 접근할 수 있는 툴을 정확히 지정할 수 있어요 모든 요청 전에 재평가되어 모델이 현재 작업에 적합한 컨텍스트를 항상 갖게 됩니다 이 유연성이 기능을 매우 반응적으로 만들어요 동시에 디버그를 더 어렵게 만들기도 합니다 대규모 언어 모델(LLM)로 개발하는 것은 기존 개발과 다릅니다 기존 코드는 예측 가능해요 LLM은 비결정론적입니다 동일한 입력이 서로 다른 출력을 생성할 수 있어요 기능이 컨텍스트를 잃거나 응답이 너무 느려지면 원인을 파악하기가 쉽지 않습니다 좋은 도구가 차이를 만들어요 이 세션을 마치면 Instruments를 사용해 이런 문제를 식별하고 수정하는 방법을 알게 될 거예요 자신 있게 빠르고 안정적인 경험을 출시할 수 있습니다 먼저 기존 방식과 LLM 앱 개발 개념을 비교하며 대조할게요 올바른 사고방식을 갖출 수 있습니다 그런 다음 Instruments로 에이전틱 경험을 검사하고 디버그할게요 제 Craft 앱에서 개발 중인 기능입니다 시작하기 전에 "Foundation Models 프레임워크의 새로운 기능"을 확인해 보세요 "Foundation Models 프레임워크로 에이전틱 앱 경험 구현하기"도 참고하세요 최신 추가 사항을 더 잘 이해할 수 있을 거예요 LLM으로 앱을 구현하면 세 가지 어려움이 있어요 기존 소프트웨어 개발에서는 찾아볼 수 없는 것들이에요

첫 번째는 확률론적 출력입니다 기존 함수에 동일한 입력을 두 번 제공하면 같은 출력을 얻어요 LLM은 그렇게 작동하지 않아요 동일한 프롬프트가 완전히 다른 두 응답을 생성할 수 있어요 표준 단위 테스트가 제대로 작동하지 않아요 출력이 하드코딩된 문자열과 일치하는지 검증할 수 없어요 응답의 품질과 의도를 평가해야 합니다 두 번째는 모델 간 통신입니다 강력한 기능은 여러 모델이 함께 작동하는 경우가 많아요 예를 들어, 레시피 앱에서는 한 모델이 사진에서 재료를 식별하고 두 번째 모델이 그 결과로 레시피를 생성해요 모델 간에 데이터를 안정적으로 전달하고 문제가 발생했을 때 자연스럽게 복구하는 것이 진짜 복잡성이 있는 부분이에요 세 번째는 관찰 가능성입니다 다중 모델 파이프라인에서 문제가 발생하면 어디서 잘못됐는지 파악하기 매우 어려워요 각 단계의 가시성이 필요해요: 모델이 받은 내용 모델이 결정한 것과 이유 바로 이 세션에서 다루는 내용이에요 핵심적으로 LLM 애플리케이션은 세 가지를 수행해요: 사용자가 프롬프트를 보내고 모델이 추론하고 사용자가 응답을 받아요 간단하고 빠르며 많은 기능에 딱 맞아요 (요약 도구, 작문 도우미, Q&A 인터페이스) 정확히 필요한 것입니다 많은 유용한 기능은 텍스트 생성 이상이 필요해요 때로는 모델이 갖지 못한 정보가 필요해요: 현재 시간 데이터베이스 레코드 또는 검색 결과 툴 호출이 필요한 이유가 여기에 있어요 루프는 이렇게 작동해요: 사용자가 프롬프트를 보내면 모델이 추론하고 툴을 호출해요 툴이 작업을 수행하고 모델이 결과를 받아 최종 응답을 생성하고 루프가 다시 시작될 수 있어요 각 단계마다 지연이 추가됩니다 각 단계는 새로운 실패 지점이에요 이 루프를 이해하는 것이 모든 것의 기초예요 Foundation Models Instrument가 보여주는 모든 것의 기반입니다 LLM 앱 개발에 필요한 사고방식을 살펴봤으니 Instruments를 사용해 제 Craft 앱의 브레인스토밍 기능을 디버그하고 검사해 볼게요 공예 동반자 앱을 개발하고 있어요 공예 프로젝트의 일지를 기록할 수 있는 앱이에요

앱에서 공예 진행 상황을 기록하고 특정 공예에 관한 질문을 하고 튜토리얼을 생성할 수 있어요 최근 대화형 브레인스토밍 기능에 대한 아이디어가 생겼어요 만들 것을 제안해 주는 기능입니다 공예가가 모델과 대화하며 아이디어를 다듬을 수 있어요 결정을 내릴 준비가 되면 앱이 해당 공예에 대한 상세한 튜토리얼을 생성해요 이 기능은 두 세트의 지침을 사용해요: 아이디어 브레인스토밍을 위한 것 튜토리얼 생성을 위한 것 브레인스토밍 지침에는 두 가지 툴이 포함돼요: GenerateCraftIdeaTool SwitchToTutorialModeTool 두 지침 세트 모두 Private Cloud Compute의 서버 모델을 사용해요 하나는 빠른 아이디어 생성을 위해 다른 하나는 더 상세한 튜토리얼 생성을 위해서입니다 Instruments로 실제로 확인해 볼게요

프로젝트는 이미 Xcode에 열려 있어요 프로파일링을 시작하려면 Product 메뉴에서 Profile을 선택하세요 Xcode가 앱을 로컬로 빌드할 거예요 템플릿 선택기에서 Foundation Models 템플릿을 선택하고 Record를 클릭할게요 이 Instrument는 기기에서 프롬프트와 응답 데이터를 캡처해요 민감한 정보가 포함될 수 있어요 프로덕션에서는 로깅이 꺼져 있지만 트레이스 중에는 켜져 있어요 트레이스 파일을 안전한 곳에 보관하세요 "Record Anyway"를 선택해 시작하세요

앱이 실행됐으니 한번 사용해 볼게요 화면에 들어오자마자 모델이 몇 가지 프로젝트 아이디어를 제안해요: Yarn PomPom Fabric Pouch 그리고 Paper Butterfly Paper Butterfly가 재미있어 보이네요 골라 볼게요

음 이상하네요 모델이 튜토리얼을 시작해야 했는데 대신 아이디어를 더 제안했어요 뭔가 잘못됐어요 녹화를 종료하고 트레이스로 원인을 파악해 볼게요 Instruments는 한 번에 많은 정보를 보여줘요 함께 살펴봐요 상단 섹션에는 트랙이 있어요 트랙은 타임라인의 활동을 보여주고 각 트랙에는 여러 레인이 있고 레벨이나 구간을 보여주는 차트가 있어요 타임라인 아래에는 세부 정보 보기가 있어요 현재 검사 중인 범위의 요약 정보를 표시해요

타임라인의 막대나 세부 정보 보기의 행을 클릭하면 오른쪽에 inspector가 열려요 선택한 항목을 자세히 볼 수 있어요

Foundation Models Instrument에는 타임라인에 레인이 6개 있어요 세션 구조와 지연 시간을 빠르게 파악할 수 있어요 타임라인 옆에는 트리 세부 정보 보기가 있어요 모델의 사고 과정을 깊이 파고들 수 있는 곳이에요

Instructions 레인은 지침과 툴 세트가 활성화된 시간을 보여줘요 하나의 세트가 여러 요청을 처리할 수 있어요 이 레인을 보면 전체 세션 동안 지침 세트가 하나만 활성화됐어요 하지만 기능은 두 개를 사용해야 했어요 전환 과정에서 문제가 발생한 거예요

Model Inference 레인에는 두 종류의 막대가 있어요: 노란색과 주황색이에요 노란색 막대는 시스템이 소요한 시간을 나타내요 입력 프롬프트를 처리하는 데 주황색 막대는 응답을 생성하는 데 걸린 시간을 나타내요

타임라인은 빠른 개요를 제공하지만 진정한 강점은 트리 보기에 있어요 녹화 중 기록된 모든 것을 계층 구조로 정리해 줘요: 세션, 요청, 모델 추론, 지침, 프롬프트, 응답 지침 세트가 변경되지 않은 이유를 추적해 볼게요

Session 1에는 요청이 두 개 있었어요 첫 번째는 다음으로 시작하는 프롬프트로 시작됐어요 "Please generate 3 craft ideas"

해당 요청은 두 번의 모델 추론과 몇 가지 툴 호출로 구성됐어요 모든 모델 추론에는 지침이 있어야 해요 프롬프트 그리고 응답 또는 오류가 있어야 해요 트리에서 노드를 클릭하면 inspector에서 확인할 수 있어요

모델 추론 세부 정보에는 지침의 요약이 표시돼요 이 호출을 구성한 프롬프트와 응답이에요

스크롤하면 소요 시간 시각화와 토큰 사용량 지표를 확인할 수 있어요 이건 나중에 다시 살펴볼게요 안정성과 성능 최적화를 다룰 때

다시 오류로 돌아가서 타임라인을 통해 지침 세트가 변경되지 않았다는 걸 알 수 있었어요 여기 모델 추론 노드의 inspector에서 해당 지침과 연결된 프롬프트를 볼 수 있어요 Instructions 노드를 선택해 설정 방식을 확인해 보겠습니다

inspector를 보면 이 지침에는 툴이 하나만 연결돼 있었어요 프롬프트는 switchToTutorialMode 툴을 참조하지만

실제로는 이 지침에 구성되어 있지 않아요

이 툴이 없으면 앱은 두 모드 간 전환이 불가능해요 공예가가 루프에 갇히게 됩니다

트리의 후속 노드를 보면 이건 조용한 실패였어요 모델은 계속 입력을 받아들이고 툴 호출도 했지만 오류는 발생하지 않았어요 문제가 발생했다는 명확한 신호가 없었어요 발견하기 어려운 버그예요 근본 원인이 명확해졌으니 Xcode로 이동해 수정할게요 Instruments에서 찾은 내용을 바탕으로 살펴볼게요 BrainstormDynamicInstructions 정의를요 Instructions 블록에서 SwitchToTutorialMode 툴이 프롬프트에 언급돼 있지만 GenerateCraftIdeasTool만 툴셋에 포함돼 있어요

추가해 볼게요

이제 다시 컴파일하고 Instruments로 재실행해서 수정이 제대로 됐는지 확인할게요

앱으로 돌아와 Ideas 탭으로 이동할게요 전과 마찬가지로 모델이 새로운 공예를 제안해요 선택할 건... 목걸이예요

바로 이거예요 UI가 튜토리얼 모드로 전환됐어요 모델이 전환을 완료했어요 해당 공예의 전체 튜토리얼을 생성했어요 이제 Instruments로 돌아가 살펴볼게요 새 녹화 결과가 효율적으로 실행됐는지 확인할게요

Instructions 레인에 이제 두 개의 별개 지침이 표시돼요 이 경험 동안 활성화됐어요

첫 번째는 브레인스토밍 지침이고 두 번째는 튜토리얼 생성 지침이에요

앞서 살펴본 브레인스토밍 경험 설계와 정확히 일치해요 트리 보기를 살펴보며 전환이 어떻게 이뤄졌는지 확인해 볼게요

첫 번째 지침 세트에 이제 generateCraftIdea와 switchToTutorialMode 툴이 모두 포함돼요 모델이 필요한 모든 것을 갖췄어요 수정이 성공했습니다 지침 변경은 Request 2의 두 번째 모델 추론 이후에 발생했어요

해당 추론으로 switchToTutorialMode 툴 호출이 발생했어요 선택한 공예를 인수로 전달했어요

다음 요청에서 지침이 올바르게 전환됐어요 튜토리얼 생성기로 선택한 공예가 컨텍스트로 전달됐어요

info 열은 주목할 만한 노드를 빠르게 표시하는 좋은 방법이에요: 오류, 긴 소요 시간, 많은 토큰 수 등이에요 Request 1의 첫 번째 모델 추론이 예상보다 조금 더 걸렸어요 한번 살펴볼게요

지표와 소요 시간 섹션에서 이 추론의 토큰 사용량을 분류해요 이 수치들은 이해하기 위한 출발점이에요 그리고 경험의 효율성을 개선하는

세 가지 핵심 지표로 성능을 측정할 수 있어요 Time to First Token은 모델이 프롬프트 수신 후 응답 생성 시작까지 걸리는 시간을 측정해요 Time to First Token이 높으면 사용자가 빈 화면을 보게 돼요 줄이려면 프롬프트를 짧게 만드세요 Tokens per Second는 응답의 전반적인 생성 속도를 측정해요 다양한 프롬프트 구성에서의 성능을 벤치마크하는 데 사용하세요 변경 후 회귀 현상을 감지하세요

Total Latency는 요청을 보낸 시점부터 최종 응답을 받을 때까지의 전체 시간이에요 사용자가 가장 직접적으로 느끼는 수치예요 인지된 Total Latency를 줄이려면 스트리밍을 활용해 부분 결과를 먼저 표시하세요

트레이스 실행이 최적화의 출발점이에요 이 지표들은 시간과 리소스가 어디에 소비되는지 정확히 알려줘요 그리고 올바른 수정 방향을 알려줘요 모델 추론 노드를 사용해 토큰 사용량을 명확히 파악하세요 이 세션에서는 Instruments를 사용해 Foundation Models 프레임워크로 개발한 에이전틱 경험을 디버그하는 방법을 알아봤어요 버그를 수정했으면 다음 탐색 주제는 평가예요 "Meet the Evaluations framework"를 시청하세요 프롬프트의 품질을 측정하고 개선하는 방법을 확인하세요 구조화된 평가를 통해서예요

개선된 Foundation Models Instrument를 시작하려면 Xcode 27을 설치하세요 그런 다음 앱을 실행하고 프로파일링할 기기에서 최신 OS 릴리스로 업데이트하세요 이 Instrument는 사용하는 모든 모델을 지원해요 Foundation Models 프레임워크에서 Foundation Models API가 출발점이에요 실험하고 구현하며 가능성을 탐색해 보세요 예상대로 작동하지 않을 때 Foundation Models Instrument가 디버그를 도와줄 거예요 프레임워크 동작을 컨텍스트에서 직접 볼 수 있게 해줘요 에이전틱 앱 경험에 관한 관련 세션으로 더 알아보세요 그리고 Evaluations 프레임워크도요 전체 문서를 살펴보며 프레임워크의 모든 가능성을 발견해 보세요 함께해 주셔서 감사합니다! 여러분의 지능형 경험을 개발하고 디버그하는 모습이 기대돼요 개선된 Foundation Models Instrument로