feat(news): crawl-24x7 사이클 2 — B-2/B-3/C-1/C-2/C-3/C-5 (마이그 324-326)

- 채널 인지화: news_sources.source_channel(324, documents enum 재사용) →
  문서 생성 정체성(_doc_identity)·embed/chunk 30일 게이트(crawl=전량 색인)·
  extract 후속 override(crawl→classify, preview 스킵) 분기.
- B-2 Guardian Open Platform: API 디스패치(호스트 분기, 미지 호스트=명시 실패)
  + show-fields=bodyText 전문 어댑터. fixture live 박제 + call-shape 테스트.
- B-3 구독지: playwright-fetcher 격리 컨테이너(동시 1·요청당 브라우저·storage_state
  ro mount) + politeness 사람속도(30-60s) 브라우저 경로 + fulltext 인증 라우팅
  (내용 기반 probe 게이트·relogin_requested 소비=open-스킵보다 앞·본문 페이월 마커
  게이트) + source_health probe 컬럼(325) + 세션 박제 스크립트(맥북용).
- C-2 KOSHA: 3 API live 검증·fixture 박제(board/attach/guide) — 재해사례 daily diff
  +첨부 PDF/HWP→extract 파이프라인, GUIDE 일일 cap 점진 백필(silent cap 금지 로그).
  키는 URL 직결합(재인코딩 함정 회피). daily 06:40 KST.
- C-3 정적 코퍼스: National Board 86 + TWI job-knowledge 153 일괄 CLI(멱등·politeness
  ·crawl_raw 보존·fulltext_worker 승격 필드 규약 동일).
- C-1/C-5 시드(326): 전 URL live 검증 — UK HSE(feed-full)/안전신문/고용노동부 3종
  (rss/*.do)/OSHA/EU-OSHA(후보)/SEP/1000-Word(feed-full)/Doing Philosophy/Aeon/Psyche
  (skip-video quirk).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

services/playwright-fetcher/Dockerfile

@@ -0,0 +1,14 @@
+# B-3 / A-1 Tier 2 (plan crawl-24x7-1) — Playwright 격리 컨테이너.
+# 브라우저 hang/크래시가 fastapi APScheduler 를 잠식하지 않게 별도 서비스로 격리,
+# 타임아웃 있는 HTTP 호출로만 사용. 요청당 브라우저 기동 = 컨텍스트 누적 메모리 차단.
+FROM mcr.microsoft.com/playwright/python:v1.47.0-jammy
+
+WORKDIR /srv
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+COPY server.py .
+
+# internal-only — compose 네트워크 전용, host 포트 미매핑 (caddy 라우트 금지)
+EXPOSE 3400
+CMD ["uvicorn", "server:app", "--host", "0.0.0.0", "--port", "3400"]

services/playwright-fetcher/requirements.txt

@@ -0,0 +1,3 @@
+fastapi==0.115.*
+uvicorn==0.32.*
+playwright==1.47.0

services/playwright-fetcher/server.py

@@ -0,0 +1,107 @@
+"""B-3 구독 세션 Playwright fetcher (plan crawl-24x7-1).
+
+storage_state JSON(쿠키+localStorage 스냅샷) 기반 인증 페이지 fetch + 내용 기반 probe.
+- 동시 1 인스턴스 (글로벌 세마포어) — 계정 보호 + 사람 속도는 호출측 politeness 가 담당.
+- 요청당 브라우저 기동/종료 — 컨텍스트 메모리 누적·hang 잔존 차단 (저빈도라 기동비용 무관).
+- 세션 파일: /auth/{profile}.json (호스트 ~/.local/share/crawl-auth/, ro mount, 600).
+  부재 = 503 profile_missing (silent fallback 없음 — 호출측이 degrade).
+- 시간 기반 만료 판정 금지 — probe 는 알려진 유료 기사에서 본문 길이 + 페이월 마커 부재 검증
+  (만료 후 200 '페이월 안내문'이 본문으로 저장되는 silent corruption 차단).
+"""
+
+import asyncio
+import logging
+from pathlib import Path
+
+from fastapi import FastAPI, HTTPException
+from playwright.async_api import async_playwright, Error as PlaywrightError
+from pydantic import BaseModel, Field
+
+logging.basicConfig(level=logging.INFO, format="[%(levelname)s] %(message)s")
+logger = logging.getLogger("playwright-fetcher")
+
+AUTH_DIR = Path("/auth")
+NAV_TIMEOUT_MS = 45_000
+SETTLE_MS = 1_500  # domcontentloaded 후 lazy 본문 settle 대기
+
+app = FastAPI(title="playwright-fetcher")
+_browser_slot = asyncio.Semaphore(1)  # 동시 1 인스턴스 (B-3 ① persistent 제약과 동일 규율)
+
+
+class FetchReq(BaseModel):
+    url: str
+    profile: str = Field(pattern=r"^[a-z0-9_-]{1,50}$")
+
+
+class ProbeReq(BaseModel):
+    profile: str = Field(pattern=r"^[a-z0-9_-]{1,50}$")
+    probe_url: str
+    min_body_chars: int = 800
+    paywall_markers: list[str] = []
+
+
+def _state_path(profile: str) -> Path:
+    p = AUTH_DIR / f"{profile}.json"
+    if not p.is_file():
+        raise HTTPException(503, detail={"error_reason": "profile_missing", "profile": profile})
+    return p
+
+
+async def _browse(url: str, state: Path) -> tuple[str, str, str]:
+    """(html, final_url, visible_text). 요청당 브라우저 — 종료를 finally 로 보장."""
+    async with async_playwright() as pw:
+        browser = await pw.chromium.launch(headless=True)
+        try:
+            context = await browser.new_context(
+                storage_state=str(state),
+                viewport={"width": 1366, "height": 900},
+                locale="fr-FR",
+            )
+            page = await context.new_page()
+            await page.goto(url, wait_until="domcontentloaded", timeout=NAV_TIMEOUT_MS)
+            await page.wait_for_timeout(SETTLE_MS)
+            html = await page.content()
+            final_url = page.url
+            text = await page.evaluate("document.body ? document.body.innerText : ''")
+            return html, final_url, text
+        finally:
+            await browser.close()
+
+
+@app.get("/health")
+def health():
+    profiles = sorted(p.stem for p in AUTH_DIR.glob("*.json")) if AUTH_DIR.is_dir() else []
+    return {"status": "ok", "profiles": profiles}
+
+
+@app.post("/fetch")
+async def fetch(req: FetchReq):
+    state = _state_path(req.profile)
+    async with _browser_slot:
+        try:
+            html, final_url, _ = await _browse(req.url, state)
+        except PlaywrightError as e:
+            logger.warning("fetch 실패 %s: %s", req.url, e)
+            raise HTTPException(502, detail={"error_reason": "browse_failed", "message": str(e)[:300]})
+    logger.info("fetch ok profile=%s %s (%d bytes)", req.profile, req.url, len(html))
+    return {"html": html, "final_url": final_url}
+
+
+@app.post("/probe")
+async def probe(req: ProbeReq):
+    """내용 기반 세션 probe — ok=False 사유를 명시 반환 (호출측이 health 에 기록)."""
+    state = _state_path(req.profile)
+    async with _browser_slot:
+        try:
+            _, final_url, text = await _browse(req.probe_url, state)
+        except PlaywrightError as e:
+            return {"ok": False, "reason": f"browse_failed: {str(e)[:200]}", "body_chars": 0}
+    body_chars = len(text.strip())
+    hit = next((m for m in req.paywall_markers if m and m.lower() in text.lower()), None)
+    if hit:
+        return {"ok": False, "reason": f"paywall_marker: {hit}", "body_chars": body_chars}
+    if body_chars < req.min_body_chars:
+        return {"ok": False, "reason": f"body_too_short: {body_chars} < {req.min_body_chars}",
+                "body_chars": body_chars}
+    logger.info("probe ok profile=%s (%d chars, final=%s)", req.profile, body_chars, final_url)
+    return {"ok": True, "reason": None, "body_chars": body_chars}