결과 확인

시뮬레이션 결과 대시보드와 시나리오별 대화를 확인하고, 사용량을 설정한 뒤 대화 상세(Trajectory)를 올려 도구 호출을 평가합니다.

1. 결과 대시보드 확인

①결과 화면 구성

시뮬레이션이 끝나면 결과 화면이 열립니다. 위에서부터 4개 영역이 있습니다.

영역	보여 주는 것
`평가 결과`	통과율, `기준 통과`·`기준 미달` 수, 평가 항목별 통과율(`조건별 통과율`)
`사용량`	이 셋에 사용한 `총 토큰`과 `총 비용`. `상세 보기`를 펼치면 단계별 비용(`단계별 비용`)
`주요 실패 사례`	조건의 80% 이상을 채우지 못한 시나리오
`전체 시나리오`	시나리오별 평가 항목 결과

②기준 통과 판정

시나리오는 모든 평가 항목을 통과해야 기준 통과입니다. 항목이 하나라도 실패하면 기준 미달입니다.

평가 항목	확인하는 것
`필수 안내 항목`	꼭 말해야 하는 값을 답변에서 말했는지
`기대 동작`	정책상 지켜야 하는 행동을 지켰는지
`기대 도구 호출`	맞는 도구를 맞는 인자로 호출했는지

기대 도구 호출은 대화 상세 분석이 끝난 뒤 판정에 들어갑니다. 그 전에는 미평가로 나옵니다.
통과율은 기준 통과인 시나리오의 비율입니다.
조건별 통과율의 conditions met은 채운 조건 수, scenarios passed는 그 항목을 모두 통과한 시나리오 수입니다.
시나리오는 모든 조건을 채워야 통과하므로 통과율이 항목별 통과율보다 낮을 수 있습니다.

③대표 실패 보기

주요 실패 사례에는 실패한 시나리오 중 조건의 80% 이상을 채우지 못한 시나리오가 최대 3개 나옵니다.

카드 위쪽에 6 of 7 conditions not met처럼 못 채운 조건 수와 태스크가 나옵니다.
아래에는 평가 항목별로 못 채운 조건이 나옵니다. 필수 안내 항목은 빠진 값, 기대 동작은 지키지 못한 행동, 기대 도구 호출은 잘못 호출한 도구입니다.
항목이 많으면 +1 more처럼 접혀 있습니다. 눌러서 펼칩니다.
상세 보기를 누르면 그 시나리오의 상세 패널이 열립니다.
모든 시나리오가 통과했거나 80% 이상 실패한 시나리오가 없으면 카드 대신 안내 문구가 나옵니다.

1-1평가 결과 확인
1. Pass Rate와 Pass·Fail 수를 확인합니다.
2. Pass rate by condition에서 평가 항목별 통과율을 확인합니다.
판정 기준은 Pass 판정에서 확인합니다.
1-2사용량 확인
1. Total Tokens와 Total Cost를 확인합니다.
2. View Detail을 클릭합니다.
3. Cost by Stage에서 단계별 비용을 확인합니다.
- AI Agent 비용은 단가를 설정해야 합계에 들어갑니다.
- 자세한 내용은 Usage 합계에 있습니다.
1-3대표 실패 확인
1. Representative Failures에서 조건의 80% 이상을 채우지 못한 시나리오를 확인합니다.
2. 못 채운 조건이 많으면 +1 more로 펼칩니다.
3. View Detail로 그 시나리오의 상세 패널을 엽니다.
1-4전체 시나리오 확인
1. All Scenarios에서 시나리오별 결과를 확인합니다.
2. 행을 클릭하면 상세 패널이 열립니다.
- 칸마다 Pass·Fail과 (통과 수/전체 수)가 나옵니다.
- Expected Actions 열은 Trajectory 분석이 끝나면 생깁니다.

2. 시나리오별 결과 확인

①상세 패널

전체 시나리오에서 행을 클릭하거나 주요 실패 사례에서 상세 보기를 누르면 오른쪽에 상세 패널이 열립니다.

탭	내용
`결과`	대화 내용, 평가 항목별 판정, 사용량
`시나리오`	평가에 쓴 시나리오 내용과 원본 JSON, 시나리오 생성 사용량

대화에서 필수 안내 항목 값은 초록색으로 강조됩니다.
필수 안내 항목 카드에서 통과한 값을 누르면 대화에서 그 위치로 이동합니다.
같은 값을 다시 누르면 다음 위치로 이동합니다.
기대 도구 호출은 대화 상세 분석 전까지 미평가로 나옵니다.

2-1패널 열기
1. All Scenarios에서 시나리오 행을 클릭합니다.
2. 상세 패널에서 대화를 확인합니다.
2-2평가 항목 확인
1. Must Mention에서 값마다 판정을 확인합니다.
2. 통과한 값을 클릭하면 대화에서 그 위치가 강조됩니다.
3. Expected Behavior에서 행동마다 판정을 확인합니다.
2-3사용량 확인
1. Usage에서 이 시나리오의 사용량을 확인합니다.
단계별 구성은 Usage 합계에서 확인합니다.
2-4시나리오 확인
1. Scenario 탭을 클릭합니다.
2. 평가에 쓴 시나리오 내용을 확인합니다.

3. 사용량 설정

①사용량 합계

사용량의 합계에는 아래 사용량이 들어갑니다.

단계	합계에 들어가는 시점
`시나리오 생성`	시나리오를 만들면
`가상 사용자`	대화가 끝나면
`AI 에이전트`	대화가 끝나고 단가가 설정되어 있으면
`평가 모델`	채점이 끝나면

상세 보기를 펼치면 단계별 비용(단계별 비용)이 생성, 시뮬레이션, 평가로 나뉘어 나옵니다.
단가를 설정하지 않으면 AI 에이전트 비용은 합계에서 빠지고 AI Agent usage is pending setup and excluded from totals. 안내가 나옵니다. 단계별 비용에서는 AI 에이전트가 설정 필요로 나오고, 비율도 AI 에이전트를 빼고 계산합니다(비율 계산에서 AI 에이전트 제외).
단가를 저장한 직후에는 AI Agent usage is being calculated and excluded from totals for now.가 보입니다. 계산이 끝나면 합계에 들어갑니다.
채점 중이거나 채점 오류가 난 시나리오는 평가 모델 사용량이 빠집니다.

②AI 에이전트 단가

AI 에이전트 단가는 사용량 계산 설정에서 설정합니다. 평가할 에이전트의 응답에서 토큰 수를 읽어 비용을 계산합니다.

항목	입력하는 것
`입력 토큰`	응답에서 입력 토큰 수가 있는 경로(예: `response_1.usage.prompt_tokens`).
`출력 토큰`	응답에서 출력 토큰 수가 있는 경로
`입력 토큰 비용 ($)`	입력 토큰 100만 개당 가격
`출력 토큰 비용 ($)`	출력 토큰 100만 개당 가격

사용량 계산 설정은 어드민만 쓸 수 있습니다. 다른 사용자에게는 Contact your admin to set it up.이 나옵니다.
설정은 애플리케이션 단위로 저장됩니다. 같은 애플리케이션의 모든 셋에 적용됩니다.
저장하면 지금 보고 있는 결과의 AI 에이전트 비용이 다시 계산됩니다.
멀티턴 대화는 모든 턴의 토큰을 더해 계산합니다.

3-1설정 창 열기
1. Usage 아래 안내에서 Set up Usage를 클릭합니다. View Detail을 펼쳐 AI Agent 행에서 눌러도 됩니다.
Admin만 설정할 수 있습니다.
3-2토큰 경로 입력
1. Input Tokens에 입력 토큰 수 경로를 입력합니다.
2. Pick from response로 응답 예시에서 경로를 고를 수도 있습니다.
3. Output Tokens도 같은 방법으로 입력합니다.
경로가 맞으면 아래에 Mapped: 1240처럼 값이 나옵니다.
3-3단가 입력
1. 토큰 100만 개당 입력·출력 가격을 입력합니다.
2. 아래 상자에서 한 턴의 예상 비용을 확인합니다.
3. Save를 클릭합니다.
- 같은 Application의 모든 Set에 적용됩니다.
- 항목별 뜻은 AI Agent 단가에 있습니다.

4. 대화 상세 업로드

①대화 상세

대화 상세는 시뮬레이션 중 에이전트가 호출한 도구 기록입니다. 대화 기록만으로는 도구 호출을 알 수 없어서 따로 올립니다.

도구 명세를 넣은 셋에서만 올릴 수 있습니다.
시뮬레이션이 모두 끝난 뒤 결과 화면에서 올립니다.
.json 또는 .jsonl 파일을 받습니다.

②분석 상태

상태	화면
올리기 전	노란 안내 `Tool call evaluation isn't included yet.`
분석 중	파란 안내 `Analyzing trajectory.` `대화 상세 업로드`가 꺼짐
분석 완료	안내가 사라지고 `기대 도구 호출` 결과가 들어감. 버튼이 `Re-upload Trajectory`로 바뀜
분석 실패	빨간 안내와 `재시도`, `Upload Again` 버튼

분석이 끝나면 기준 통과와 기준 미달 수, 통과율을 다시 계산합니다.
분석 중에는 셋을 삭제할 수 없습니다.
다른 파일로 다시 평가하려면 Re-upload Trajectory를 클릭합니다. 새 파일을 올리면 지금의 기대 도구 호출 결과가 바뀝니다.

4-1파일 올리기
1. 노란 안내 문구를 확인합니다.
2. Upload Trajectory를 클릭합니다.
3. 파일을 끌어 놓거나 클릭해 고릅니다.
4. Upload를 클릭합니다.
4-2분석 결과 확인
1. 분석 중에는 파란 안내가 나옵니다.
2. 분석이 끝나면 Expected Actions 통과율이 나옵니다.
3. 다른 파일로 다시 평가하려면 Re-upload Trajectory를 클릭합니다.
Pass와 Fail 수, Pass Rate도 도구 호출 결과를 넣어 다시 계산합니다.
4-3분석 실패 대응
1. 빨간 안내가 나오면 파일 형식을 확인합니다.
2. Retry를 클릭해 다시 분석합니다.
3. 파일을 바꿔 올리려면 Upload Again을 클릭합니다.

자주 묻는 질문

대화 상세 업로드 버튼이 왜 없나요?도구 명세 없이 만든 셋이기 때문이에요.

원인: 도구 호출 평가는 도구 명세를 넣은 셋에서만 해요. 목록의 대화 상세 열에 도구 명세 없음으로 나와요.
해결 방법: 도구 호출까지 평가하려면 도구 명세를 넣어 새 셋을 만들어 주세요.

총비용이 왜 실제보다 낮게 보이나요?AI 에이전트 비용이 빠져 있기 때문이에요.

원인: AI 에이전트 단가를 설정하지 않으면 합계에서 빠져요.
해결 방법: 어드민이 사용량 계산 설정에서 단가를 설정해 주세요. 방법은 AI 에이전트 단가에 있어요.

사용량 계산 설정이 왜 보이지 않나요?어드민만 설정할 수 있기 때문이에요.

원인: 어드민이 아니면 버튼 대신 관리자에게 문의하라는 안내가 나와요.
해결 방법: 워크스페이스 어드민에게 단가 설정을 요청해 주세요.

단가를 저장했는데 왜 비용이 그대로인가요?아직 계산 중이기 때문이에요.

원인: 단가를 저장하면 AI 에이전트 비용을 다시 계산해요. 그동안 계산 중이 보여요.
해결 방법: 잠시 뒤 다시 확인해 주세요.

기대 도구 호출이 왜 미평가로 나오나요?대화 상세 분석이 끝나지 않았기 때문이에요.

원인: 도구 호출은 대화 기록만으로 알 수 없어요.
해결 방법: 결과 화면에서 대화 상세를 올려 주세요. 분석이 끝나면 판정이 들어가요.

대화 상세 분석에 실패하면 어떻게 하나요?파일이 .json 또는 .jsonl 형식인지 확인한 뒤 재시도를 눌러 보세요.

원인: 대화 상세는 .json 또는 .jsonl 파일만 분석해요.
해결 방법: 파일을 확인한 뒤 재시도를 누르거나, Upload Again으로 파일을 다시 올려 주세요.