시나리오 검토 및 실행

생성된 시나리오를 검토하고, 모델을 골라 시뮬레이션을 실행한 뒤 진행 상황을 확인합니다.

1. 시나리오 검토

시나리오는 가상 사용자와 나눌 대화 상황을 정의한 테스트 케이스입니다. ID는 S-01, S-02 형식입니다.

카드	내용
`사용자 페르소나`	가상 사용자의 프로필, 감정(`Emotion`), 긴급도(`Urgency`), 말투(`Tone`)
`상황 설정`	가상 사용자가 대화에서 이룰 목표와 행동 지침
`기대 도구 호출`	에이전트가 호출해야 하는 도구와 인자
`필수 안내 항목`	에이전트가 답변에서 꼭 말해야 하는 값
`기대 동작`	에이전트가 정책상 지켜야 하는 행동
`JSON 보기`	시나리오 원본 JSON

왼쪽 전체 시나리오 생성 시 사용량은 시나리오를 만드는 데 쓴 사용량 합계입니다. 오른쪽 제목 옆에는 선택한 시나리오 하나의 사용량이 나옵니다.

결과 화면의 시나리오 탭에서도 같은 값을 볼 수 있습니다.

1-1시나리오 고르기
1. 위쪽 단계 표시에서 Scenario가 Done인지 확인합니다.
2. 왼쪽 목록에서 시나리오를 클릭합니다.
1-2시나리오 내용 확인
1. User Persona에서 가상 사용자를 확인합니다.
2. Task Instructions에서 대화 목표를 확인합니다.
3. Expected Actions에서 호출할 도구를 확인합니다.
4. Must Mention과 Expected Behavior를 확인합니다.
5. 원본이 필요하면 View JSON을 펼칩니다.
카드별 내용은 Scenario에 정리했습니다.
1-3정책 문서 확인
1. View Detail을 클릭합니다.
2. 입력한 Policy와 Tool Schema를 확인합니다.
1-4Set 정보 수정
1. 제목 옆 연필 아이콘을 클릭합니다.
2. 이름과 설명을 고치고 Save를 클릭합니다.
1-5Set 삭제
1. 오른쪽 위 Delete를 클릭합니다.
2. 확인 창에서 Delete를 클릭합니다.
- 시나리오, 대화, 평가 결과가 모두 지워집니다.
- 지운 Set은 되돌릴 수 없습니다.

시뮬레이션을 시작할 때 모델 3개를 고릅니다.

실행 중에는 셋을 삭제할 수 없습니다. 실행이 끝날 때까지 기다려주세요.

2-1실행 창 열기
1. 오른쪽 위 Run Simulation을 클릭합니다.
2-2모델 고르기
1. Application Version에서 평가할 에이전트를 고릅니다.
2. User LLM을 고릅니다.
3. Judge Model을 고릅니다.
모델별 역할은 실행 모델에서 확인합니다.
2-3실행 시작
1. Start Simulation을 클릭합니다.
2. 단계 표시가 Simulation Running으로 바뀝니다.
등록된 모델이 없으면 Start Simulation이 꺼져 있습니다.

시나리오마다 대화와 채점이 따로 진행됩니다. 대화가 끝난 시나리오부터 채점합니다.

구분	뜻	할 일
`기준 미달`	대화는 끝났지만 평가 기준을 채우지 못함	결과 화면에서 원인을 확인합니다.
`오류`	대화나 채점이 끝나지 못함	`오류 전체 재시도`로 다시 실행합니다.

3-1전체 진행 확인
1. Status에서 Set 전체 상태를 확인합니다.
2. 목록에서 시나리오별 상태와 턴 수를 확인합니다.
상태별 뜻은 Scenario 상태에서 확인합니다.
3-2대화 확인
1. Result 탭에서 대화를 실시간으로 확인합니다.
2. 채점이 끝나면 오른쪽 카드에 항목별 Pass·Fail이 나옵니다.
3. Expected Actions는 이 단계에서 평가하지 않습니다.
- Trajectory를 올리면 Expected Actions를 평가합니다.
- 방법은 결과 확인에서 안내합니다.
3-3오류 다시 실행
1. Error 상태 시나리오를 확인합니다.
2. Retry All Errors를 클릭합니다.
대화 오류는 대화부터, 채점 오류는 채점만 다시 실행합니다.

시뮬레이션 시작이 왜 눌리지 않나요?등록된 생성·평가 모델이 없기 때문이에요.

기대 도구 호출 카드가 왜 보이지 않나요?도구 명세 없이 만든 셋이기 때문이에요.

시나리오 내용을 고칠 수 있나요?아니요, 생성된 시나리오는 고칠 수 없어요.

실행 중인 셋은 언제 삭제할 수 있나요?시뮬레이션이 끝난 뒤 삭제하면 돼요. 실행 중에는 삭제가 꺼져 있어요.

오류가 왜 계속 남아 있나요?대화나 채점이 끝나지 못한 시나리오가 있기 때문이에요.

시뮬레이션 생성, 테스트에 드는 총 비용은 어떻게 확인하나요?결과 화면 사용량 카드의 비용에서 확인하면 돼요.

원인: 사용량 합계에는 시나리오 생성, 가상 사용자, AI 에이전트, 평가 모델 사용량이 모두 들어가요. AI 에이전트 단가를 설정하지 않으면 AI 에이전트 비용은 합계에서 빠지고, 채점 중이거나 채점 오류가 난 시나리오는 평가 모델 사용량이 빠져요.
해결 방법: 시나리오 생성 비용만 보려면 이 화면 왼쪽의 전체 시나리오 생성 시 사용량을 확인해 주세요. 대화·채점까지 더한 총비용은 결과 화면 사용량 카드의 비용에서 확인해 주세요. AI 에이전트 비용까지 넣으려면 어드민이 사용량 계산 설정에서 단가를 설정해 주세요. 자세한 내용은 생성 사용량과 결과 확인에 있어요.