- model_adapter: measure_inference_latency() (max_tokens=1, 최소 부하)
- backend_registry:
- health latency baseline 학습 (초기 5회 max, 이후 EMA)
- get_load_status(): inference 우선, health/queue 보조
- cache 30s + cooldown 10s + asyncio.Lock으로 자기증폭 루프 방지
- 조건: health > baseline*3 또는 사용자 명시 요청 시에만 ping
- worker:
- "system_status" 액션 — 사용자 상태 조회 시 force_measure
- _build_system_status() 응답 빌더 (health/baseline/ping/queue)
- route busy 안내를 get_load_status 기반으로 변경
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
875a4f80d2