실패 케이스
평가지표(Metric) 위반이 나온 턴을 목록에서 찾고, 그 턴이 속한 세션 전체 대화를 확인합니다.
1. 실패 케이스 목록 확인
①실패 케이스 목록
실패 케이스 목록에는 실패 케이스가 1개 이상 나온 턴만 나옵니다. 모든 루브릭을 통과한 턴은 나오지 않습니다.
| 열 | 설명 |
|---|---|
세션 ID | 턴이 속한 세션 ID |
턴 ID | 턴 ID |
시각 | 턴의 시각. 유저 입력 기준입니다. |
유저 입력 | 사용자가 입력한 질문 |
앱 출력 | AI 서비스의 최종 답변 |
평가지표: 실패 케이스 | 이 턴에서 위반으로 판정된 평가지표와 루브릭 |
- 같은 세션의 턴은 카드 하나로 묶입니다.
- 최근 세션이 위에 나옵니다. 세션 안의 턴은 대화 순서대로 나옵니다.
- 한 페이지에 세션 50개를 보여 줍니다.
②실패 케이스 표기
평가지표: 실패 케이스 열은 Metric 이름: Rubric 이름 형식으로 표시합니다.
| 예시 | 뜻 |
|---|---|
Safety: 욕설 | 안전성 평가지표에서 욕설 루브릭이 위반으로 판정됨 |
캐릭터 정체성: 말투, 유아 | 캐릭터 정체성 평가지표에서 루브릭 2개가 위반으로 판정됨 |
- 한 턴에 여러 평가지표가 나올 수 있습니다.
1-1목록 열기
- 왼쪽 메뉴에서
Fail Case를 클릭합니다. - 열 제목을 확인합니다.
열별 뜻은 Fail Case 목록에 있습니다.
- 왼쪽 메뉴에서
1-2위반 턴 확인
- 세션 카드 안에서 위반 턴을 확인합니다.
Metric: Fail Case에서 위반 항목을 확인합니다.- 아래 페이지 번호로 다음 세션을 봅니다.
읽는 법은 Fail Case 표기에서 확인합니다.
2. 필터와 검색
①필터와 검색
목록이 길면 필터와 검색으로 좁힙니다.
평가지표필터에서 보고 싶은 루브릭을 고릅니다. 루브릭은 평가지표별로 묶여 나옵니다.- 여러 개를 고르면 하나라도 해당하는 턴을 보여 줍니다.
- 검색은 세션 ID, 유저 입력, 앱 출력에서 찾습니다.
- 검색어와 일치하는 글자는 강조됩니다.
2-1필터 적용
Metric옆 필터를 클릭합니다.- 보고 싶은 Rubric을 고릅니다.
- 필터 버튼에 고른 항목이 표시됩니다.
- 되돌리려면 초기화 아이콘을 클릭합니다.
2-2검색
- 검색 칸에 Session ID나 문장을 입력합니다.
- 일치하는 세션만 목록에 남습니다.
3. 세션 상세 확인
①세션 창
목록의 행을 클릭하면 오른쪽에 세션 창이 열립니다. 상세 정보는 턴이 아닌 세션 단위로 보여 줍니다.
| 영역 | 내용 |
|---|---|
| 머리 | 세션 ID, 링크 복사, 닫기 |
| 요약 | 전체 턴 수와 실패 케이스가 나온 턴 수 |
실패 케이스만 | 켜면 실패 케이스가 나온 턴만 보여 줌 |
| 턴 | 턴 번호와 ID, 시각, 응답 시간(지연 시간), 실패 케이스, 대화 |
- 실패 케이스가 나온 턴은 파란 배경으로 표시됩니다.
링크 복사로 복사한 링크를 열면 이 세션이 열린 화면이 나옵니다.
3-1세션 열기
- 목록에서 행을 클릭합니다.
- Session 창에서 Session ID를 확인합니다.
3-2대화 확인
- 요약에서 전체 턴 수와 Fail Case 턴 수를 확인합니다.
- 턴마다 Fail Case와 대화를 확인합니다.
Fail cases only를 켜면 Fail Case 턴만 남습니다.
3-3링크 공유
Copy Link를 클릭하고 링크를 팀원에게 보냅니다.
링크를 열면 이 세션을 찾은 상태로 Session 창이 열립니다.
4. 알림 메일에서 확인
①기준 미달 Alert 메일
실패 케이스가 나오면 평가지표에 지정한 수신자에게 메일이 갑니다. 수신자는 평가지표 설정에서 정합니다.
| 항목 | 내용 |
|---|---|
| 제목 | [DATUMO Fail Alert - 턴 ID] - Metric 이름 |
평가지표 이름 | 위반이 나온 평가지표 |
Fail Reason | 위반으로 판정된 루브릭 |
유저 입력, 앱 출력 | 그 턴의 질문과 답변 |
4-1메일 확인
- 메일 제목에서 턴 ID와 Metric을 확인합니다.
- 본문에서 위반 내용을 확인합니다.
4-2상세 열기
Go to Detail을 클릭합니다.- 그 세션이 열린 Fail Case 화면이 나옵니다.
자주 묻는 질문
실패 케이스 화면이 왜 비어 있나요?연동이 없거나 아직 실패 케이스가 없기 때문이에요.
- 원인
- 연동이 없으면
There are no integrations yet.가 나와요. 위반 턴이 없으면There are no Fail Cases yet.가 나와요. - 해결 방법
- 연동이 없다면
연동 설정 바로가기로 연동해 주세요. 방법은 연동 설정에 있어요.
통과한 턴은 어디서 보나요?세션 창에서 볼 수 있어요.
- 원인
- 목록에는 실패 케이스가 나온 턴만 나와요.
- 해결 방법
- 행을 눌러 세션 창을 열어 주세요.
실패 케이스만이 꺼져 있으면 세션의 모든 턴이 나와요.
일부 기간의 턴이 목록에 없으면 어떻게 하나요?그 기간의 생성·평가 모델과 평가지표 상태를 확인해 보세요.
- 원인
- 생성·평가 모델이 없던 기간과 평가지표가 꺼진 기간의 턴은 평가하지 않아요. 샘플링에서 뽑히지 않은 턴도 평가하지 않아요.
- 해결 방법
- 그 기간의 모델과 평가지표 상태를 확인해 주세요. 평가하지 않은 턴은 나중에 다시 평가되지 않아요.
필터를 걸었더니 왜 결과가 없나요?고른 조건에 해당하는 턴이 없기 때문이에요.
- 원인
- 필터와 검색어를 함께 쓰면 두 조건을 모두 만족하는 턴만 나와요.
- 해결 방법
- 초기화 아이콘으로 필터를 풀거나 검색어를 지워 주세요.