애플리케이션 API 연동

①연동하면 할 수 있는 일

연동을 마치면 평가, 레드티밍, 모니터링이 서비스 API를 직접 호출합니다. 그래서 평가, 공격, 관찰 작업을 실행할 수 있습니다. 먼저 애플리케이션 생성을 마칩니다.

연동은 설정 > 애플리케이션 > Agent Connection에서 합니다. 왼쪽 메뉴 아래쪽의 애플리케이션 설정을 클릭하면 열립니다. 화면 구성은 애플리케이션 생성의 에이전트 Connection 화면을 참고하세요.

②연동 순서

연동은 아래 순서로 합니다. 1단계에서 정한 키 구조가 이후 모든 단계의 기준이 됩니다.

①1-1. 모듈 생성

1. + 새 모듈을 클릭합니다.

2. 모듈 유형을 선택합니다. 여러 모듈 유형을 선택할 수 있습니다.

3. 추가를 클릭합니다.

②1-2. 모듈 수정

1. 모듈 오른쪽 위의 수정(연필) 아이콘을 클릭합니다.

2. 모듈 이름과 입력 키, 출력 키를 수정합니다.

3. 필요하면 키를 추가합니다.

③1-3. 모듈 삭제

1. 삭제 버튼을 클릭합니다.

2. 입력란에 삭제를 입력합니다. 삭제 버튼이 활성화됩니다.

3. 삭제를 클릭합니다. 모듈이 삭제됩니다.

①3-1. 연동 정보 입력

1. 버전 행에서 API 연동을 클릭합니다.
2. 아래 정보를 입력합니다.

②3-2. Request Body 작성

1. 요청 본문을 JSON으로 작성합니다.
2. 1단계에서 정한 입력 키를 {{key_name}} 형식으로 넣습니다. 평가할 때 벤치마크셋의 실제 값으로 바뀝니다.

{
  "model": "gpt-4o",
  "messages": [
    { "role": "system", "content": "You are a helpful assistant." },
    { "role": "user", "content": "{{user_query}}" }
  ],
  "temperature": 0.2
}

위 예시에서 {{user_query}}는 실행할 때 각 Benchmark 행의 user_query 값으로 바뀝니다.

③3-3. 연결 테스트

1. 오른쪽 연결 테스트에 변수마다 예시 값을 넣습니다.
2. 연결 테스트를 클릭합니다.
3. 응답이 제대로 오는지 확인합니다.

인증 오류나 형식 오류를 여기서 미리 찾으면 평가 중에 대량으로 실패하는 일을 막을 수 있습니다.

④3-4. 저장

저장하지 않고 창을 닫으면 저장할지 묻는 창이 뜹니다.

①4-1. 멀티턴 켜기

1. API 연동 창 왼쪽의 멀티턴 토글을 켭니다.
2. Request Body에 아래 기본 예시가 채워집니다.

{
  "messages": [
    ...{{chat_history}},
    { "role": "user", "content": "" }
  ]
}

• ...{{chat_history}} 자리에 이전 대화가 들어갑니다. Request Body에 꼭 한 번 넣어야 합니다.
• 그 바로 다음 객체가 이번 턴에 보내는 질문입니다.
• "content"는 비어 있습니다. 4-2에서 입력 변수를 고르면 "{{query}}"처럼 채워집니다.

②4-2. 턴 정의 설정

턴 정의에서 이전 대화 한 턴을 어떤 값으로 채울지 정합니다. 기본 예시를 쓰면 {{content}} 행의 두 칸만 채우면 됩니다.

1. {{content}} 행의 사용자 턴에서 입력 변수(예: {{query}})를 고릅니다.
2. 같은 행의 어시스턴트 턴에 에이전트 답변이 있는 경로를 입력합니다. 경로를 모르면 응답에서 선택을 누르고 응답에서 답변을 골라 선택을 클릭합니다.
3. 필드가 더 필요하면 + 변수 추가로 추가합니다. Request Body에도 자동으로 들어갑니다.

빈칸이 하나라도 있으면 다음 단계로 넘어갈 수 없습니다.

③4-3. 두 턴 연결 테스트

멀티턴의 연결 테스트에는 Turn 1, Turn 2 칸이 있습니다.

1. Turn 1에 첫 질문, Turn 2에 이어지는 질문을 넣습니다.
   (예: 제 이름은 다투모예요. → 제 이름이 뭐였죠?)
2. 연결 테스트를 클릭합니다.
3. 턴 2 응답이 턴 1 내용을 기억하는지 확인합니다.

두 턴이 모두 성공해야 테스트를 마친 것으로 봅니다. 실패한 턴은 결과에 마우스를 올려 재시도 아이콘으로 다시 실행합니다.

①5-1. 응답 경로 입력

1. 출력 키마다 응답 안의 경로를 입력합니다. 경로를 모르면 응답에서 선택으로 응답에서 값을 골라 채웁니다.

2. 경로 아래 Extracted Value에 나온 값이 맞는지 확인합니다.
3. 저장을 클릭합니다.

• 경로가 틀리면 빨간 안내가 나오고 저장할 수 없습니다.
• 연결 테스트를 하지 않았으면 저장할 때 테스트할지 묻습니다.

②5-2. 토큰 사용량과 비용 (선택)

비용을 보고 싶을 때만 설정합니다. 설정하면 평가 리포트의 사용량 탭과 에이전트 시뮬레이션에서 비용이 보입니다.

1. 같은 창 아래 Token Usage & Cost에서 입력 토큰, 출력 토큰 경로를 입력합니다. 응답에서 선택으로 골라도 됩니다.
2. 입력 토큰 비용 ($), 출력 토큰 비용 ($)에 100만 토큰당 가격을 입력합니다.
3. 아래 상자에 예상 비용이 나오면 저장을 클릭합니다.

자주 쓰는 토큰 경로는 아래와 같습니다.

• 나중에 설정하려면 버전 행의 설정 바로가기를, 고치려면 토큰 설정 수정을 누릅니다.
• 이미 실행한 평가의 비용은 평가 리포트에서 설정하면 다시 계산됩니다. 평가 리포트를 참고하세요.