고객지원 정책 버전 혼용으로 인한 오답 차단

상태: 검토 전
입력 범위: c39f401e-66d3-4cc2-d153-8d2c5abe3403 turn 0–3
결론 신뢰도: 합성 세션에서 원인·결정·재실행 결과를 확인했으며 운영 일반화는 확인 필요

30초 인수인계

항목	인수인계 내용
증상	답변 표본 20건 중 6건이 이전 환불 기한 14일을 안내했다.
원인	환불 정책 v3와 v4가 같은 인덱스에서 모두 활성 문서처럼 검색됐다.
결정	검색 전에 `status=active`와 `effective_at` 기준을 적용해 현행 정책 한 버전만 후보로 사용한다.
검증	18건 모두 질문 시점의 현행 정책 문서를 선택했다.
남은 한계	실제 상담 답변 품질, 정책 담당자 승인, 예외 정책 전체에 대한 일반화

검색 전에 status=active와 effective_at 기준을 적용해 현행 정책 한 버전만 후보로 사용한다.

프롬프트에 ‘최신 정책만 사용’ 문구를 추가하는 방법.
배제 이유: 검색 후보에서 구문서가 제거되지 않아 모델이 여전히 오래된 근거를 선택할 수 있기 때문이다.

단계	행동	기대 신호	실행 상태
1	오답 답변의 검색 근거와 정책 버전을 비교한다.	구·신 정책이 동시에 후보로 노출된다.	확인됨 · turn 0–1
2	색인 메타데이터에 상태와 유효일자를 보존한다.	정책 버전별 효력 범위가 구분된다.	확인됨 · turn 2–3
3	검색 전에 활성·유효일자 필터를 적용하고 18문항을 재실행한다.	모든 질문이 현행 문서를 선택한다.	확인됨 · turn 3
4	실제 상담 답변 표본을 품질 담당자와 검토한다.	오답률과 예외 정책이 승인 기록과 함께 남는다.	권장·미검증

검증한 것	범위	관찰 결과	증명하지 못한 것
합성 재현·수정	세 번의 정책 변경 경계를 포함한 합성 질문 18건	18건 모두 질문 시점의 현행 정책 문서를 선택했다.	실제 상담 답변 품질, 정책 담당자 승인, 예외 정책 전체에 대한 일반화
운영 환경	미수행	관찰 없음	장기 안정성·실제 사용자 영향

합성 사례임을 유지하면 검토 후 부서 공유 가능. 실제 환경에서도 동일한 결과가 보장된다는 근거로 사용해서는 안 된다.