# Passage-RAG go/no-go — Decision (PR-DocSrv-Hier-PassageRAG-Diagnose-1 c5)

**측정일** 2026-05-25 | branch `feat/hier-passagerag-diagnose` | 결정 = 🔴 **NO-GO** (hier-evidence 무이득, 동등)

## 질문
Replace-Diagnose(doc-search) NO-GO 가 남긴 후속: `/ask` grounded-synthesis 에서 hier-leaf evidence(정밀 짧은 절)가 legacy 윈도우 evidence 보다 **더 나은 답변**을 만드나? (절의 "짧음"이 doc-검색엔 독이었지만 passage-RAG 엔 약일 수 있다는 가설)

## 결정 규칙 (N-적응) 적용
조건부 **N=12 → ≥12 tier**: pairwise 방향성 신호 유효 + objective 보강. (INCONCLUSIVE 아님 — N 충분)

## 결과 (상세 = passage_rag_judge_2026-05-25.md)
| 차원 | prehier | hier_sim_clean | 판정 |
|---|---|---|---|
| pairwise (N=12) | 4승 | 3승 (tie 5) | edge 없음 (noise) |
| axis faith/correct/complete | 3.00/2.92/2.75 | 2.92/3.00/2.67 | ±0.08 동등 |
| objective (halluc/grounding/complete) | 36 / 8·12 / 0full | 36 / 8·11 / 1full | 동일 |
| run-to-run 분산 | ~0 (byte-identical 재생성) | ~0 | single-sample 신뢰 |

**4-way 수렴 = 동등**. verbosity artifact 없음(prehier 더 길었으나 승수 +1). hier 가설은 답변 품질에서 실현 안 됨.

## 결정: 🔴 NO-GO
**hier-leaf 를 `/ask` evidence 단위로 채택/증강하지 않는다.** retrieval 통제 시 답변 품질 무차이 → 절 단위 evidence 의 추가 가치 0. 게다가 end-to-end 로는 hier 의 retrieval 열위(exam_005/006·cl_007 타깃 누락 = doc-search NO-GO 일관)가 더해져, passage-RAG 에서도 hier 채택 근거 없음. `PR-...-PassageRAG-Apply` 류 미진입.

## hier leaf 운명 = section-outline UI 전용 **완전 확정**
3개 평가 영역 모두 종결:
- **UI (section-outline)**: ✅ 유효 (배포됨, `PR-DocSrv-Hier-Section-UI-1`)
- **doc-level 검색 코퍼스 교체**: 🔴 NO-GO (Replace-Diagnose, −0.074)
- **passage-RAG evidence 단위**: 🔴 NO-GO (본 PR, 동등·무이득)
→ hier leaf 12,697 = **in_corpus=false 영구 잔존, UI 재료 한정**. 검색/RAG 어느 쪽도 아님.

## 한계 박제
- judge = Claude(Opus) subagent — hypothesis-blind 세션 분리 + label-blind + shuffle + verbosity 차단 + objective 교차로 완화. NDCG 같은 완전 객관 아님 (단 objective 신호가 pairwise 와 동일 결론 → 신뢰 보강).
- 조건부 N=12 (작은 spike). generator=gemma 고정, temp~0.3 (variance ~0 실측). single cached generation per Q/variant.
- 측정 = doc-search 통제 후 passage 품질 한정. (다른 generator/더 큰 N 에서 미세 차이 가능성 배제 못하나, 본 spike 의 4-way 수렴은 "유의 이득 없음"에 충분.)

## 제품 input
2026-06-21 Ask 파이프라인 freeze 결정의 bounded diagnostic signal: **"hier 로 Ask 품질 개선 안 됨"** — Ask 투자 정당화에 hier 카드 없음. 제품 rollout 결정 아님 ([[document-server-2026-05-21]]).
