Platform Docs
Try DatumoEval

실패 케이스

평가지표(Metric) 위반이 나온 턴을 목록에서 찾고, 그 턴이 속한 세션 전체 대화를 확인합니다.

1. 실패 케이스 목록 확인

①실패 케이스 목록

실패 케이스 목록에는 실패 케이스가 1개 이상 나온 턴만 나옵니다. 모든 루브릭을 통과한 턴은 나오지 않습니다.

열설명
세션 ID턴이 속한 세션 ID
턴 ID턴 ID
시각턴의 시각. 유저 입력 기준입니다.
유저 입력사용자가 입력한 질문
앱 출력AI 서비스의 최종 답변
평가지표: 실패 케이스이 턴에서 위반으로 판정된 평가지표와 루브릭
  • 같은 세션의 턴은 카드 하나로 묶입니다.
  • 최근 세션이 위에 나옵니다. 세션 안의 턴은 대화 순서대로 나옵니다.
  • 한 페이지에 세션 50개를 보여 줍니다.

②실패 케이스 표기

평가지표: 실패 케이스 열은 Metric 이름: Rubric 이름 형식으로 표시합니다.

예시뜻
Safety: 욕설안전성 평가지표에서 욕설 루브릭이 위반으로 판정됨
캐릭터 정체성: 말투, 유아캐릭터 정체성 평가지표에서 루브릭 2개가 위반으로 판정됨
  • 한 턴에 여러 평가지표가 나올 수 있습니다.
  1. 1-1목록 열기

    1. 왼쪽 메뉴에서 Fail Case를 클릭합니다.
    2. 열 제목을 확인합니다.

    열별 뜻은 Fail Case 목록에 있습니다.

  2. 1-2위반 턴 확인

    1. 세션 카드 안에서 위반 턴을 확인합니다.
    2. Metric: Fail Case에서 위반 항목을 확인합니다.
    3. 아래 페이지 번호로 다음 세션을 봅니다.

    읽는 법은 Fail Case 표기에서 확인합니다.


목록이 길면 필터와 검색으로 좁힙니다.

  • 평가지표 필터에서 보고 싶은 루브릭을 고릅니다. 루브릭은 평가지표별로 묶여 나옵니다.
  • 여러 개를 고르면 하나라도 해당하는 턴을 보여 줍니다.
  • 검색은 세션 ID, 유저 입력, 앱 출력에서 찾습니다.
  • 검색어와 일치하는 글자는 강조됩니다.
  1. 2-1필터 적용

    1. Metric 옆 필터를 클릭합니다.
    2. 보고 싶은 Rubric을 고릅니다.
    3. 필터 버튼에 고른 항목이 표시됩니다.
    4. 되돌리려면 초기화 아이콘을 클릭합니다.
  2. 2-2검색

    1. 검색 칸에 Session ID나 문장을 입력합니다.
    2. 일치하는 세션만 목록에 남습니다.

3. 세션 상세 확인

①세션 창

목록의 행을 클릭하면 오른쪽에 세션 창이 열립니다. 상세 정보는 턴이 아닌 세션 단위로 보여 줍니다.

영역내용
머리세션 ID, 링크 복사, 닫기
요약전체 턴 수와 실패 케이스가 나온 턴 수
실패 케이스만켜면 실패 케이스가 나온 턴만 보여 줌
턴턴 번호와 ID, 시각, 응답 시간(지연 시간), 실패 케이스, 대화
  • 실패 케이스가 나온 턴은 파란 배경으로 표시됩니다.
  • 링크 복사로 복사한 링크를 열면 이 세션이 열린 화면이 나옵니다.
  1. 3-1세션 열기

    1. 목록에서 행을 클릭합니다.
    2. Session 창에서 Session ID를 확인합니다.
  2. 3-2대화 확인

    1. 요약에서 전체 턴 수와 Fail Case 턴 수를 확인합니다.
    2. 턴마다 Fail Case와 대화를 확인합니다.
    3. Fail cases only를 켜면 Fail Case 턴만 남습니다.
  3. 3-3링크 공유

    1. Copy Link를 클릭하고 링크를 팀원에게 보냅니다.

    링크를 열면 이 세션을 찾은 상태로 Session 창이 열립니다.


4. 알림 메일에서 확인

①기준 미달 Alert 메일

실패 케이스가 나오면 평가지표에 지정한 수신자에게 메일이 갑니다. 수신자는 평가지표 설정에서 정합니다.

항목내용
제목[DATUMO Fail Alert - 턴 ID] - Metric 이름
평가지표 이름위반이 나온 평가지표
Fail Reason위반으로 판정된 루브릭
유저 입력, 앱 출력그 턴의 질문과 답변
  1. 4-1메일 확인

    1. 메일 제목에서 턴 ID와 Metric을 확인합니다.
    2. 본문에서 위반 내용을 확인합니다.
  2. 4-2상세 열기

    1. Go to Detail을 클릭합니다.
    2. 그 세션이 열린 Fail Case 화면이 나옵니다.

자주 묻는 질문

실패 케이스 화면이 왜 비어 있나요?연동이 없거나 아직 실패 케이스가 없기 때문이에요.
원인
연동이 없으면 There are no integrations yet.가 나와요. 위반 턴이 없으면 There are no Fail Cases yet.가 나와요.
해결 방법
연동이 없다면 연동 설정 바로가기로 연동해 주세요. 방법은 연동 설정에 있어요.
통과한 턴은 어디서 보나요?세션 창에서 볼 수 있어요.
원인
목록에는 실패 케이스가 나온 턴만 나와요.
해결 방법
행을 눌러 세션 창을 열어 주세요. 실패 케이스만이 꺼져 있으면 세션의 모든 턴이 나와요.
일부 기간의 턴이 목록에 없으면 어떻게 하나요?그 기간의 생성·평가 모델과 평가지표 상태를 확인해 보세요.
원인
생성·평가 모델이 없던 기간과 평가지표가 꺼진 기간의 턴은 평가하지 않아요. 샘플링에서 뽑히지 않은 턴도 평가하지 않아요.
해결 방법
그 기간의 모델과 평가지표 상태를 확인해 주세요. 평가하지 않은 턴은 나중에 다시 평가되지 않아요.
필터를 걸었더니 왜 결과가 없나요?고른 조건에 해당하는 턴이 없기 때문이에요.
원인
필터와 검색어를 함께 쓰면 두 조건을 모두 만족하는 턴만 나와요.
해결 방법
초기화 아이콘으로 필터를 풀거나 검색어를 지워 주세요.

최종 수정일