본문으로 건너뛰기

A/B 테스트

두 가지 AI 설정 중 어느 것이 더 좋은지 실제 데이터로 비교합니다.

왜 필요한가?​

"같은 제품을 두 조건으로 만들어서 비교하는 것" -- 제조업의 **DOE(실험 계획법)**와 동일한 원리입니다.

AI도 마찬가지입니다. 프롬프트를 바꿨을 때, 모델을 교체했을 때, "정말 더 좋아졌는가?"를 감이 아니라 데이터로 확인해야 합니다.

화면 구성​

테스트 목록​

항목설명
테스트 이름실험 식별 이름 (예: 불량예측-v2-vs-v3)
상태진행 중 / 완료 / 중단
프롬프트 키테스트 대상 프롬프트
트래픽 분할A/B 비율 진행바 (예: 50:50, 70:30)

테스트 상세 (클릭 시)​

테스트를 클릭하면 변형 A와 변형 B의 실시간 비교 화면이 나타납니다.

비교 항목변형 A (기존)변형 B (신규)
호출 수실시간 집계실시간 집계
평균 지연ms 단위ms 단위
에러율%%
품질 점수자동 평가 점수자동 평가 점수

충분한 데이터가 쌓이면 어느 쪽이 우세한지 통계적으로 판단할 수 있습니다.

테스트 설계 가이드​

1단계: 테스트 생성​

  • 테스트 이름과 대상 프롬프트 키를 선택합니다.
  • 변형 A(기존 설정)와 변형 B(변경 설정)를 지정합니다.
  • 트래픽 분할 비율을 설정합니다 (기본값: 50:50).

2단계: 실행 및 모니터링​

  • 테스트가 시작되면 실제 요청이 A/B로 분배됩니다.
  • 대시보드에서 실시간으로 성과 지표를 비교합니다.
  • 최소 1,000건 이상의 호출이 쌓일 때까지 기다리세요.

3단계: 결과 판단 및 적용​

  • 에러율이 낮고, 품질 점수가 높은 쪽이 승자입니다.
  • 승자를 모델 관리에서 챔피언으로 승격합니다.
  • 테스트를 종료하고 결과를 이력에 저장합니다.

적용 전후 비교​

BeforeAfter효과
모델 교체 후 "좋아진 것 같다" (감)A/B 테스트로 수치 비교의사결정 근거 확보
불량 예측 정확도 65%A/B 테스트 후 최적 조합 82%정확도 26% 향상
프롬프트 변경 효과 확인 불가동일 조건 비교 -- 효과 정량화개선 여부 즉시 판단

실무 팁​

교대별로 A/B를 나누지 마세요​

주간 교대와 야간 교대는 생산 조건이 다릅니다. A를 주간에, B를 야간에 배정하면 조건이 달라서 비교가 무의미합니다.

반드시 같은 교대 내에서 50:50 트래픽 분할을 하세요. 그래야 동일한 조건에서의 순수한 성능 차이를 측정할 수 있습니다.

성급하게 결론 내리지 마세요​

100건으로 "B가 더 좋다"고 판단하면 통계적 오류가 큽니다. 최소 1,000건, 가능하면 일주일 이상 데이터를 모은 후 판단하세요.

한 번에 하나만 바꾸세요​

프롬프트와 모델을 동시에 바꾸면 어느 쪽이 효과를 낸 건지 알 수 없습니다. 실험 계획의 기본 -- 한 번에 하나의 변수만 변경하세요.