프롬프트 관리
AI에게 내리는 작업지시서를 Rev.1, Rev.2처럼 버전 관리합니다.
왜 필요한가?
"AI가 지난주까지 잘 답변했는데 이번 주는 이상하다."
이런 불만의 80%는 프롬프트 변경이 원인입니다. 누가, 언제, 무엇을 바꿨는지 추적이 안 되면 원인을 찾는 데 며칠이 걸립니다.
공장에서 작업표준서(SOP)를 개정할 때 반드시 개정 이력을 남기는 것과 같습니다. 프롬프트도 동일한 관리 체계가 필요합니다.
화면 구성
프롬프트 키 목록
등록된 프롬프트를 키(Key) 단위로 보여줍니다. 각 키는 하나의 AI 작업 유형을 의미합니다.
예시:
defect-prediction-- 불량 예측 프롬프트schema-advisor-- 스키마 최적화 제안 프롬프트workflow-optimizer-- 워크플로우 개선 프롬프트
버전 히스토리
프롬프트 키를 클릭하면 해당 프롬프트의 전체 버전 이력이 표시됩니다.
| 항목 | 설명 |
|---|---|
| 버전 | v1, v2, v3... 순차 번호 |
| 상태 | 활성(Active) / 비활성(Inactive) |
| 모델명 | 해당 버전이 사용하는 AI 모델 |
| 호출 수 | 해당 버전으로 처리된 요청 횟수 |
| 평균 지연 | 응답까지 걸리는 평균 시간 |
| 에러율 | 오류 발생 비율 |
버전 활성화 / 비활성화
특정 버전을 클릭해서 활성화 또는 비활성화할 수 있습니다. 한 키에 활성 상태인 버전은 하나만 유지됩니다.
실무 시나리오
프롬프트 롤백
- 월요일: 불량 예측 프롬프트를 v3로 업데이트
- 화요일: 현장에서 "예측 결과가 이상하다" 보고
- 프롬프트 관리 화면 진입
defect-prediction클릭 -- 버전 히스토리 확인- v2 클릭 -- "활성화" 버튼 클릭
- 5분 안에 이전 상태로 복구 완료
실무 팁
프롬프트를 바꿨는데 결과가 안 좋으면?
이전 버전을 클릭하고 "활성화"만 누르면 됩니다. 5분 안에 원래대로 돌아갑니다. 롤백에 개발자 도움이 필요 없습니다.
변경 전 테스트 습관을 들이세요
프롬프트를 수정했으면 바로 운영에 반영하지 말고, A/B 테스트로 기존 버전과 비교한 후 교체하세요.
에러율 추이를 주기적으로 확인하세요
에러율이 갑자기 올라갔다면 최근 프롬프트 변경 이력을 먼저 확인하세요. 버전 히스토리의 에러율 컬럼을 비교하면 어느 버전에서 문제가 시작됐는지 바로 알 수 있습니다.