# DS-Synthesis-Timeout-Calibration-1 (B-3) Closure Report

**Date**: 2026-05-17
**Plan 카테고리**: B-3 (PR-Hermes-Polymorphic-Rossum 후속, DS RAG 측 별 트랙)
**범위**: DS RAG 파이프라인 5 stage 의 LLM_TIMEOUT_MS / outer wait_for align (Mac mini 26B serialized concurrent load 대응)
**Commit**: `73f328c`

## Summary

PR-Hermes-Docsrv-Search-1 closure 시점 측정 (`synthesis_ms=30~48s` / `ev_ms=15005` / `query_analyze=45s`) 으로 기존 LLM_TIMEOUT_MS 15s / 3s 가 동시 부하 시 빈발 timeout. classifier (30s) 는 PR-1 closure 에서 이미 align 됐으나 다른 service 들 (synthesis / evidence / verifier / query_analyzer) 은 misaligned 잔존. 본 PR 이 5곳 동시 raise + 2곳 outer wait_for align.

## Root cause (재확인)

Mac mini 26B single-inference + `get_mlx_gate()` Semaphore(1) 직렬화 후 DS RAG 파이프라인 5 stage 가 sequential 누적:
- query_analyzer → evidence + classifier (parallel) → synthesis → verifier
- 각 stage 가 30s 까지 wait 후에야 다음 진행
- 15s LLM_TIMEOUT 시 절반 stage 가 timeout → fallback path 발화 (refusal_gate / verifier skip)

## 변경 사항

5 timeout constants + 2 outer wrappers:

| 파일 | line | 변경 |
|---|---|---|
| `app/services/search/synthesis_service.py` | 43 | `LLM_TIMEOUT_MS 15000 → 30000` |
| `app/services/search/evidence_service.py` | 81 | `LLM_TIMEOUT_MS 15000 → 30000` |
| `app/services/search/verifier_service.py` | 34 | `LLM_TIMEOUT_MS 3000 → 10000` |
| `app/services/search/query_analyzer.py` | 47 | `LLM_TIMEOUT_MS 15000 → 30000` |
| `app/api/search.py` | 522 | `wait_for(classifier_task, 15.0 → 30.0)` |
| `app/api/search.py` | 641 | `wait_for(verifier_task, 4.0 → 10.0)` |

**기존 정합**:
- classifier_service.LLM_TIMEOUT_MS = 30000 (PR-Hermes-Docsrv-Search-1 closure 시 이미 raised)
- ai.classifier.timeout = 30 (config.yaml, 같이 align 완료)

## Regression 검증 (PR-1 Layer 1 fixture re-run, 완료)

**전체 결과 (Pre-B-3 vs Post-B-3)**:

| 항목 | Pre-B-3 | Post-B-3 | 회귀 |
|---|---|---|---|
| docsrv_ask HTTP 200 | 10/10 | **10/10** | ✅ 0 |
| docsrv_search HTTP 200 | 5/5 | **5/5** | ✅ 0 |
| Failure injection 3건 | 3/3 PASS | **3/3 PASS** (401 / 000 / refused) | ✅ 0 |
| classifier ok 비율 | 10/10 | 10/10 | ✅ 0 |
| min | 8.8s | 13.2s | +4.4s |
| p50 | 10.6s | **23.2s** | +12.6s |
| mean | 15.0s | **25.8s** | +10.8s |
| p95 | 34.8s | **50.7s** | +15.9s (ASME outlier) |
| max | 34.8s | **50.7s** | +15.9s |

**Per-query 비교**:

| Query | Pre-B-3 | Post-B-3 | Δ |
|---|---|---|---|
| ask-a1-memo-hit | 9.3s | 13.2s | +3.9s |
| ask-a2-voice | 13.0s | 19.9s | +6.9s |
| ask-a3-bridge | 10.1s | 22.0s | +11.9s |
| ask-b1-asme | 30.7s | **50.7s** | **+20.0s** (이전 timeout 부근, 끝까지 완료) |
| ask-b2-drift | 11.5s | 30.5s | +19.0s |
| ask-b3-digest | 10.4s | 25.6s | +15.2s |
| ask-c1-today | 34.8s | 30.5s | -4.3s |
| ask-c2-decision | 10.6s | 23.2s | +12.6s |
| ask-d1-secret | 10.5s | 20.7s | +10.2s |
| ask-d2-noexist | 8.8s | 21.8s | +13.0s |

**해석**:
- 응답 시간 +4~20s 증가 — 의도된 trade-off (timeout fallback path 대신 끝까지 completion)
- classifier ok 정상 path 100% (conservative_refuse 회피)
- functional 변화 0 (verdict, citations, sources, refused 모두 동일 패턴)
- p95 12s gate 는 여전히 FAIL (이전부터 ASME outlier 로 fail, B-3 가 안정성 우선이라 latency 더 증가 — B-1 Throughput-1 진입 시 단축 검토)

## 결정 사항

1. **B-3 = SHIPPED**:
   - 5곳 LLM_TIMEOUT + 2곳 outer wait_for align 완료
   - Mac mini 26B concurrent saturation 대응 완성 (classifier 외 4 service)
   - functional 회귀 0, latency +4~20s (안정성 ↑ 의도된 trade-off)

2. **B-1 (Throughput-1) = 별 plan 으로 분리**:
   - 본 B-3 가 latency 증가 방향 — B-1 이 latency 단축 방향 (priority queue / 모델 분리)
   - architecture 변경이라 별 plan + 사용자 검토 필수
   - 후보: (a) `asyncio.PriorityQueue` (user ask priority 0 / background priority 100) (b) Mac mini 4B 모델 추가 로드 (triage 만 분리) (c) GPU Ollama 4B 재도입 (PR #20 reverse)

3. **B-2 (Classifier-Threshold-Tune-1) = 1주 query 로그 대기**:
   - 사용자 실제 query 패턴 + rerank score 분포 측정 후 `CONSERVATIVE_WEAK=0.35` recalibration
   - 진입 = 2026-05-24 (1주 baseline) 이후

## File changes

- `app/services/search/synthesis_service.py` (line 43)
- `app/services/search/evidence_service.py` (line 81)
- `app/services/search/verifier_service.py` (line 34)
- `app/services/search/query_analyzer.py` (line 47)
- `app/api/search.py` (line 522, 641)

총 5 file, 6 timeout constants/wrappers 변경.

## 7일 안전망 (2026-05-24)

- git revert `73f328c` (단일 commit 으로 묶임)
- 별 백업 파일 0 (git history 가 안전망)

## 검증 commands (재실행)

```bash
# 회귀 fixture
ssh macmini "bash ~/.hermes/fixtures/pr_search1_layer1.sh"

# DS 로그 (classifier ok 비율)
ssh gpu "cd ~/Documents/code/hyungi_Document_Server && \
  docker compose logs --since=5m fastapi | grep -E 'classifier (ok|error|timeout)' | tail -10"

# Hermes E2E (Curl-Refine-2 확인 + 회귀 0)
ssh macmini "HERMES_DOCSRV_TOKEN=... && hermes chat -s docsrv_ask -q '내 자료에서 voice memo 찾아줘'"
```

## 후속 트랙

| 우선 | 트랙 | 진입 |
|---|---|---|
| **P2** | DS-Mac-mini-26B-Throughput-1 (B-1) | architecture 변경 plan 필요 — priority queue / 모델 분리 비교 |
| **대기** | DS-Classifier-Threshold-Tune-1 (B-2) | 2026-05-24 1주 query 로그 baseline 후 |
| (선택) | LLM_TIMEOUT_MS centralization | 5 service 가 각자 상수 보유 — 공통 config 항목 (`ai.llm_timeout_default: 30`) 도입 검토. P3 |
