hyungi bb929f88d0 feat(extraction): MinerU 2.5 VLM 추출 서비스 + 워커 엔드포인트 env화 ...

marker-service(Surya, ~10GB) 대체 후보. MinerU2.5-Pro-2605-1.2B VLM(vllm-async-engine,
~5.9GB 고정). marker /convert 계약 복제(file_path·start/end·md+base64 images) → 워커는
MARKER_ENDPOINT env 플립만으로 전환. 단일카드(16GB) 검색스택 공존, 40p 윈도우 무변.

- services/mineru: Dockerfile(vllm/vllm-openai:v0.21.0 + mineru[core]) + async server.py
  (NFC/NFD 한글경로 resolver, PyMuPDF page 슬라이스, gpu_memory_utilization 캡)
- docker-compose: mineru-service profile-gated(기본 미기동=marker 무영향) + mineru_models vol
- marker_worker: MARKER_ENDPOINT 하드코딩 → env(기본 marker, 무변)

격리 PoC A/B 8/8 게이트 PASS (한국어/표/수식LaTeX/heading/figure/40p VRAM).
컷오버(env 플립+marker 제거)는 별 단계(읽기뷰 회귀 0 게이트).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-18 15:58:55 +09:00

..

statute_adapters

feat(safety): B-1 PR② — fetch_version(payload 리스트) + ingest 4축 + 생애주기 잡 통째 + 부트스트랩

2026-06-13 09:37:51 +09:00

__init__.py

feat: scaffold v2 project structure with Docker, FastAPI, and config

2026-04-02 10:20:15 +09:00

api_standards_collector.py

feat(safety): A-2 수집기 ingest 시점 분류 축 부여 — 레지스트리 전파 + 승인 가드 (mig 352~355)

2026-06-13 06:23:22 +09:00

arxiv_collector.py

fix(collectors): 워터마크 cap 절단 시 미전진 — silent backlog loss 차단 (R4)

2026-06-16 13:28:04 +09:00

auto_review_worker.py

feat(review): 검토 대기 자동검토 워커 — 고신뢰 자동승인 + 저신뢰 잔류

2026-06-15 15:36:56 +09:00

briefing_worker.py

feat(observability): digest/briefing 을 처리 보드에 맥미니 작업으로 노출 (background_jobs)

2026-06-15 03:36:57 +00:00

ccps_collector.py

feat(news): crawl-24x7 사이클 3 — B-4 시그널·C-4 공학 지속·CSB sitemap·CCPS Beacon (마이그 327)

2026-06-11 07:13:17 +09:00

chunk_worker.py

perf(search): synthesis 캐시 TTL enforce + chunk news_source DB 필터 (R10)

2026-06-16 14:24:03 +09:00

classify_worker.py

fix(classify): ai_suggestion library 블록 is None 가드 — material 제안 clobber 방지 (R9)

2026-06-16 14:19:20 +09:00

csb_collector.py

feat(safety): A-2 수집기 ingest 시점 분류 축 부여 — 레지스트리 전파 + 승인 가드 (mig 352~355)

2026-06-13 06:23:22 +09:00

daily_digest.py

fix(digest): daily_digest 산출물 이모지 제거 — no-emoji 규칙 (R11a)

2026-06-16 14:03:31 +09:00

dedup_reconcile.py

feat(documents): S1 dedup·office-md·storage scaffold (B/C/D/E)

2026-06-08 03:05:30 +00:00

deep_summary_worker.py

fix(workers): silent completion 차단 — transient re-raise + enqueue 격리 (R3)

2026-06-16 13:24:25 +09:00

digest_worker.py

feat(observability): digest/briefing 을 처리 보드에 맥미니 작업으로 노출 (background_jobs)

2026-06-15 03:36:57 +00:00

document_purge_sweep.py

feat(documents): delete_file=true 큐드-감사삭제 — purge 마커 + retention sweep (R7)

2026-06-16 13:48:25 +09:00

embed_worker.py

feat(search): retrieval+evidence 품질 개선

2026-04-15 14:56:33 +09:00

extract_worker.py

fix(ingest): devonagent extract md_status 'ready' → 'success'

2026-05-16 08:42:15 +09:00

file_watcher.py

docs(news): url normalizer 채널별 의도적 divergence 명시 — 통합 금지 박제 (R11b)

2026-06-16 14:40:56 +09:00

fulltext_worker.py

feat(news): crawl-24x7 사이클 2 — B-2/B-3/C-1/C-2/C-3/C-5 (마이그 324-326)

2026-06-10 15:08:18 +09:00

kosha_collector.py

fix(collectors): kosha 부분실패 per-case commit — 전체 rollback 방지 (R4)

2026-06-16 13:32:07 +09:00

law_monitor.py

feat(safety): A-2 수집기 ingest 시점 분류 축 부여 — 레지스트리 전파 + 승인 가드 (mig 352~355)

2026-06-13 06:23:22 +09:00

mailplus_archive.py

refactor(workers)!: SMTP 메일 발송 기능 전면 제거

2026-06-09 22:26:22 +00:00

marker_worker.py

feat(extraction): MinerU 2.5 VLM 추출 서비스 + 워커 엔드포인트 env화

2026-06-18 15:58:55 +09:00

memo_draft_worker.py

feat(memos): 자료로 보내기 P2 — 메모→문서 26B 문서화 워커

2026-06-15 14:50:44 +09:00

news_collector.py

docs(news): url normalizer 채널별 의도적 divergence 명시 — 통합 금지 박제 (R11b)

2026-06-16 14:40:56 +09:00

office_md.py

feat(markdown): hwp raster 이미지 NAS 영속 + library backfill 스크립트

2026-06-09 05:10:45 +00:00

openalex_collector.py

fix(collectors): 워터마크 cap 절단 시 미전진 — silent backlog loss 차단 (R4)

2026-06-16 13:28:04 +09:00

paper_doi_reconcile.py

feat(papers): B-3 PR5 — 구매 PDF parent_doi 스탬프 (paper_doi_reconcile 통합)

2026-06-13 22:58:19 +00:00

paper_fulltext_promote.py

feat(papers): B-3 P2-PR1 oa_url 승격 분기 (arXiv 외 doi.org/KISTI/PMC OA)

2026-06-14 03:16:47 +00:00

preview_worker.py

fix: LibreOffice 한글 파일명 호환 — 영문 임시파일로 복사 후 변환

2026-04-03 11:18:06 +09:00

queue_consumer.py

fix(workers): silent completion 차단 — transient re-raise + enqueue 격리 (R3)

2026-06-16 13:24:25 +09:00

queue_drain.py

ops(pipeline): fair-share 번들 — drain classify 합류 + deep 맥미니 폴백 + mlx 게이트 동시 2

2026-06-12 06:56:02 +09:00

static_corpus_ingest.py

fix(news): fetch_page content-type 허용 파라미터 — TWI sitemap(text/xml) 수집 (검증 게이트 발견)

2026-06-10 16:41:30 +09:00

statute_collector.py

feat(safety): B-1 PR② — fetch_version(payload 리스트) + ingest 4축 + 생애주기 잡 통째 + 부트스트랩

2026-06-13 09:37:51 +09:00

stt_worker.py

feat(media): §3 audio STT + video 재생 인프라

2026-04-24 06:47:36 +09:00

study_card_enqueue.py

feat(study): 공부 암기노트 Phase 1 — card_extract 추출 파이프라인 (순수 additive)

2026-06-06 21:33:12 +09:00

study_explanation_worker.py

refactor(search): swap 10 call sites to acquire_mlx_gate(Priority.*) (B-1)

2026-05-17 08:51:57 +09:00

study_memo_card_jobs_consumer.py

ops(pipeline): 생성 LLM 홀드 게이트 held_stages — 맥미니 모델 확정까지 보류

2026-06-11 16:52:46 +09:00

study_memo_card_worker.py

feat(study): 공부 암기노트 Phase 1 — card_extract 추출 파이프라인 (순수 additive)

2026-06-06 21:33:12 +09:00

study_question_embed_worker.py

fix(workers): silent completion 차단 — transient re-raise + enqueue 격리 (R3)

2026-06-16 13:24:25 +09:00

study_queue_consumer.py

ops(pipeline): 생성 LLM 홀드 게이트 held_stages — 맥미니 모델 확정까지 보류

2026-06-11 16:52:46 +09:00

study_reminder.py

feat(study): 공부 암기노트 Phase 1 — 정정/삭제 훅 + needs_review 큐 + 알람 재료 (HR/A)

2026-06-07 08:08:55 +09:00

study_session_analysis_worker.py

refactor(search): swap 10 call sites to acquire_mlx_gate(Priority.*) (B-1)

2026-05-17 08:51:57 +09:00

study_session_queue_consumer.py

ops(pipeline): 생성 LLM 홀드 게이트 held_stages — 맥미니 모델 확정까지 보류

2026-06-11 16:52:46 +09:00

study_weakness.py

feat(eid): 이드 persona substrate W2~W4 — DS compose·약점진단·egress 코드층 박탈

2026-06-07 15:13:20 +09:00

summarize_worker.py

feat(workers): 맥북 M5 Max 분담 배선 — deep 슬롯 + 보류 시멘틱 + queue_drain CLI

2026-06-11 12:55:16 +09:00

thumbnail_worker.py

fix(workers): silent completion 차단 — transient re-raise + enqueue 격리 (R3)

2026-06-16 13:24:25 +09:00

tier_backfill.py

fix(hardening): collect-lock TOCTOU 제거 (R9) + tier_backfill fstring allowlist (R12)

2026-06-16 14:07:07 +09:00

upload_cleanup.py

feat(upload): §4-독립 — error_code 체계 + .uploading orphan cleanup + 진행률/abort UX

2026-04-24 06:57:02 +09:00