Files

T

Hyungi Ahn 8f7871b443 ops(search): PR-RAG-Time-1 1주 후 재측정 PASS

baseline (2026-05-03) + week1 (2026-05-12) 두 측정 결과 JSON/MD 합본.

회귀 판정 4신호 모두 통과:
- top3 doc_id 변동: 0/6 쿼리
- freshness_ms max: 0.54ms (임계 10ms)
- total_ms max: 413ms (임계 500ms, warmup 후)
- policy 분포: 9/30 동일

별 이슈: reranker 404 drift 발견 (config.yaml endpoint = ollama 호출, 실제는 TEI 컨테이너). PR-RAG-Time-1 본질 회귀와 분리. 별 incident 트랙.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-05-12 15:41:40 +09:00

2.9 KiB

Raw Blame History

PR-RAG-Time-1 1주 후 재측정 (Week 1 Observation)

측정일: 2026-05-12 (baseline 2026-05-03 의 9일 후) 대상: services.search.search_pipeline.run_search (mode=hybrid / fusion=rrf_boost / rerank=True / analyze=False / limit=5) 원본 JSON: reports/freshness_decay_observation_week1.json 비교 baseline: reports/freshness_decay_observation_baseline.json (2026-05-03)

회귀 판정 종합

신호	week1 측정값	임계	결과
freshness_ms max	0.54ms	10ms	✅ PASS
total_ms max	413ms	500ms	✅ PASS
policy 분포 (base vs week1)	9/30 vs 9/30	±10%	✅ PASS
top 3 doc_id 변동 발생 쿼리 수	0/6	3 미만	✅ PASS (자동)

자동 회귀 신호 4건 모두 통과. Manual review gate 도 unblocked (top3 변동 0 이므로).

쿼리별 비교

쿼리	top3 동일	total_ms (base → week1)	freshness_ms (base → week1)
중대재해 사고	✓	250 → 373	0.49 → 0.50
최근 중대재해	✓	287 → 310	0.49 → 0.54
산안법 개정	✓	200 → 224	3.06 → 0.48
KGS Code 개정	✓	272 → 330	0.43 → 0.51
위험성평가 최근 동향	✓	284 → 338	0.43 → 0.52
가스 사고 최근 사례	✓	350 → 413	0.44 → 0.49

top3 doc_id 6/6 완전 동일. 1주 시점에서는 freshness decay 가 ranking 을 흔들 만큼의 age 격차가 생기지 않아 baseline 대비 ordering 안정. half_life 90d(news) / 365d(law) 의 9일차이므로 자연스러운 결과.

total_ms 가 평균 +50ms (+20~25%) 증가. 첫 측정에서 cold start outlier 1458ms 발견 → warmup 1회 후 재측정 (현 결과). cold path 제거 시 baseline 비례 안정.

발견된 별 이슈 (회귀 판정과 분리)

reranker 404 drift — 측정 중 stderr 에 [WARNING] rerank failed → RRF fallback: HTTPStatusError: Client error '404 Not Found' for url 'http://ollama:11434/api/rerank' 가 6회 발생.

원인:

config.yaml:45 reranker.endpoint = http://ollama:11434/api/rerank (Ollama 호출)
실제 reranker 는 별도 컨테이너 hyungi_document_server-reranker-1 (TEI) — CLAUDE.md 기술스택 명시
Ollama 의 /api/rerank endpoint 는 응답 404

결과: 모든 검색이 reranker fallback (RRF only) 로 운영 중. baseline 측정 시점에도 동일 상태였을 가능성 높음 (baseline rerank_ms 4.6~~4.9ms 와 week1 4.9~~8.2ms 가 비슷 → 둘 다 404 응답 시간).

별 incident 등록 + inventory Drift Log 추가 필요. 본 PR-RAG-Time-1 closure 와는 무관 (baseline/week1 모두 동일 fallback 상태이므로 freshness 본질 비교는 fair).

1주 결과 한 줄

2026-05-12 1주 후 재측정: 회귀 0 / top3 변동 0 / freshness_ms max 0.54ms / total_ms max 413ms. PASS.
(별 이슈: reranker 404 drift — config.yaml 의 endpoint 오류, 별 incident 트랙)

2.9 KiB Raw Blame History