6fdc48e5b6
PR-A policy 레이어를 재사용하여 classify_worker 에 tier triage 경로를 추가.
Legacy ai_summary / ai_domain / ai_suggestion 은 유지 (회귀 0), tldr/bullets/
detail/inconsistencies 는 별도 필드로 분리.
Migrations (156~160):
- 156 documents: ai_tldr, ai_bullets, ai_detail_summary, ai_inconsistencies,
ai_analysis_tier 5컬럼
- 157 process_stage 에 'deep_summary' ADD VALUE 단독 (Postgres 동일 트랜잭션
제약 회피)
- 158 processing_queue.payload JSONB (envelope 전달)
- 159 analyze_events 에 tier + suppressed_reason
- 160 suppressed_reason partial index
Models/ORM:
- Document: 5컬럼 Mapped 추가
- ProcessingQueue: deep_summary enum 확장 + payload 필드, enqueue_stage 에
payload 옵션
- AnalyzeEvent: PR-A shadow 6컬럼 + PR-B tier/suppressed_reason
Workers:
- classify_worker: 기존 legacy 경로 뒤에 _run_tier_triage 추가.
- _match_subject_domain(doc, text): source_channel + 본문 keywords + ai_domain
prefix 로 PR-A policy 의 subject_domain 이름 결정 (category 매칭 금지).
- R1 TriageOutput pydantic + JSON 깨짐 fallback (triage_json_invalid).
- R2 _check_backlog_guard(): 30분 window ratio > threshold OR pending 초과면
soft escalate suppress. hard escalate 는 통과.
- R3 _slice_text_ranges(): 260k 초과 시 head 120k + mid 20k + tail 120k 3조각.
- escalate 시 EscalationEnvelope 구성 + {envelope, subject_domain} payload 로
deep_summary enqueue.
- deep_summary_worker (신규): queue payload 에서 envelope + subject_domain 읽기 →
render_26b("p3c_deep_summary", subject_domain) + MLX 호출 (llm_gate Semaphore(1)
경유) → ai_detail_summary + ai_inconsistencies 저장 + ai_analysis_tier='deep'.
_filter_inconsistencies 로 허용 kind (version_drift / procedure_conflict /
source_conflict / missing_basis) 만 통과 — 구매/계약 kind drop.
- queue_consumer: workers dict 에 deep_summary 추가 + BATCH_SIZE=1. next_stages
는 건드리지 않음 — classify → embed/chunk 는 그대로, deep_summary 는 독립 체인.
Telemetry:
- record_analyze_event: subject_domain / risk_flags / escalation_reasons /
confidence / policy_version / shadow_would_route_to / tier / escalated_to_26b /
suppressed_reason 파라미터 확장. classify/deep worker 가 mode="summary_triage"
또는 "summary_deep" 로 기록.
API:
- DocumentResponse 에 ai_tldr / ai_bullets / ai_detail_summary /
ai_inconsistencies / ai_analysis_tier 5필드 노출.
Prompts:
- classify.txt 에 DEPRECATED 주석만 추가 (파일 유지 — rollback 경로 보존).
- PR-A 의 app/prompts/policy/p3a_short_summary.txt (4B) 와 p3c_deep_summary.txt
(26B) 를 그대로 사용. 내 소유의 summary_triage.txt / summary_deep.txt 는 중복
이라 별도 커밋에서 제거하지 않고 바로 생성 전 삭제.
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
145 lines
6.5 KiB
Python
145 lines
6.5 KiB
Python
"""documents 테이블 ORM"""
|
|
|
|
from datetime import datetime
|
|
|
|
from pgvector.sqlalchemy import Vector
|
|
from sqlalchemy import BigInteger, Boolean, DateTime, Enum, Integer, String, Text
|
|
from sqlalchemy.dialects.postgresql import JSONB
|
|
from sqlalchemy.orm import Mapped, mapped_column
|
|
|
|
# Note: file_type='note' (메모) 문서는 file_path=NULL, file_hash=content SHA-256
|
|
|
|
from core.database import Base
|
|
|
|
|
|
class Document(Base):
|
|
__tablename__ = "documents"
|
|
|
|
id: Mapped[int] = mapped_column(BigInteger, primary_key=True)
|
|
|
|
# 1계층: 원본 파일
|
|
file_path: Mapped[str | None] = mapped_column(Text, nullable=True)
|
|
file_hash: Mapped[str] = mapped_column(String(64), nullable=False)
|
|
file_format: Mapped[str] = mapped_column(String(20), nullable=False)
|
|
file_size: Mapped[int | None] = mapped_column(BigInteger)
|
|
file_type: Mapped[str] = mapped_column(
|
|
Enum("immutable", "editable", "note", name="doc_type"),
|
|
default="immutable"
|
|
)
|
|
import_source: Mapped[str | None] = mapped_column(Text)
|
|
|
|
# 2계층: 텍스트 추출
|
|
extracted_text: Mapped[str | None] = mapped_column(Text)
|
|
extracted_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
|
extractor_version: Mapped[str | None] = mapped_column(String(50))
|
|
|
|
# 2계층: 추출 메타 (OCR 판정/실행)
|
|
extract_meta: Mapped[dict | None] = mapped_column(JSONB, default=dict)
|
|
|
|
# 2계층: AI 가공
|
|
ai_summary: Mapped[str | None] = mapped_column(Text)
|
|
ai_tags: Mapped[dict | None] = mapped_column(JSONB, default=[])
|
|
ai_domain: Mapped[str | None] = mapped_column(String(100))
|
|
ai_sub_group: Mapped[str | None] = mapped_column(String(100))
|
|
ai_model_version: Mapped[str | None] = mapped_column(String(50))
|
|
ai_processed_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
|
document_type: Mapped[str | None] = mapped_column(String(50))
|
|
importance: Mapped[str | None] = mapped_column(String(20), default="medium")
|
|
ai_confidence: Mapped[float | None] = mapped_column()
|
|
|
|
# 3계층: 벡터 임베딩
|
|
embedding = mapped_column(Vector(1024), nullable=True)
|
|
embed_model_version: Mapped[str | None] = mapped_column(String(50))
|
|
embedded_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
|
|
|
# 사용자 메모
|
|
user_note: Mapped[str | None] = mapped_column(Text)
|
|
|
|
# 사용자 태그 (ai_tags와 분리, #태그 파싱 결과 또는 수동 입력)
|
|
user_tags: Mapped[list | None] = mapped_column(JSONB, default=[])
|
|
|
|
# 핀 고정
|
|
pinned: Mapped[bool] = mapped_column(Boolean, default=False)
|
|
|
|
# /ask 합성 포함 여부 (false면 검색은 되지만 evidence에서 제외)
|
|
ask_includable: Mapped[bool] = mapped_column(Boolean, default=True)
|
|
|
|
# 아카이브 (현재 메모 UX 전용, 문서 쪽에는 노출하지 않음)
|
|
archived: Mapped[bool] = mapped_column(Boolean, default=False)
|
|
|
|
# ODF 변환
|
|
derived_path: Mapped[str | None] = mapped_column(Text) # 변환본 경로 (.derived/)
|
|
original_format: Mapped[str | None] = mapped_column(String(20))
|
|
conversion_status: Mapped[str | None] = mapped_column(String(20), default="none")
|
|
|
|
# 읽음 상태 (뉴스용)
|
|
is_read: Mapped[bool | None] = mapped_column(Boolean, default=False)
|
|
|
|
# 승인/삭제
|
|
review_status: Mapped[str | None] = mapped_column(String(20), default="pending")
|
|
deleted_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
|
|
|
# 외부 편집 URL
|
|
edit_url: Mapped[str | None] = mapped_column(Text)
|
|
|
|
# 미리보기
|
|
preview_status: Mapped[str | None] = mapped_column(String(20), default="none")
|
|
preview_hash: Mapped[str | None] = mapped_column(String(64))
|
|
preview_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
|
|
|
# 메타데이터
|
|
source_channel: Mapped[str | None] = mapped_column(
|
|
Enum("law_monitor", "devonagent", "email", "web_clip",
|
|
"tksafety", "inbox_route", "manual", "drive_sync", "news", "memo",
|
|
name="source_channel")
|
|
)
|
|
data_origin: Mapped[str | None] = mapped_column(
|
|
Enum("work", "external", name="data_origin")
|
|
)
|
|
# 용도 구분 (우선순위: 수동 수정 > 업로드 명시값 > AI 추론)
|
|
doc_purpose: Mapped[str | None] = mapped_column(
|
|
Enum("business", "knowledge", name="document_purpose")
|
|
)
|
|
title: Mapped[str | None] = mapped_column(Text)
|
|
|
|
# 카테고리 (1차 진입점 — UI 탭/라우트 분기)
|
|
# 7 활성: document / library / news / memo / audio / video / law
|
|
# 3 유보: mail / calendar / plex
|
|
category: Mapped[str | None] = mapped_column(
|
|
Enum("document", "library", "news", "memo", "audio", "video", "law",
|
|
"mail", "calendar", "plex",
|
|
name="doc_category", create_type=False)
|
|
)
|
|
|
|
# AI 가 제안했지만 미승인된 변경 후보 (category / path / doctype)
|
|
# /accept-suggestion 승인 시에만 category / user_tags 반영 (자동 전이 금지)
|
|
ai_suggestion: Mapped[dict | None] = mapped_column(JSONB)
|
|
|
|
# PR-B B-1: summary_triage (4B, 상시) / summary_deep (26B, 에스컬레이션) 분할 산출
|
|
ai_tldr: Mapped[str | None] = mapped_column(Text) # ≤60자 TL;DR
|
|
ai_bullets: Mapped[list | None] = mapped_column(JSONB) # 3~5개 핵심 bullets
|
|
ai_detail_summary: Mapped[str | None] = mapped_column(Text) # 26B 2~3문단
|
|
ai_inconsistencies: Mapped[list | None] = mapped_column(JSONB) # [{kind, desc}]
|
|
# 'triage' | 'deep' | NULL — 현재 문서가 어느 tier 까지 분석 완료됐는지
|
|
ai_analysis_tier: Mapped[str | None] = mapped_column(String(10))
|
|
|
|
# 비디오 썸네일 (§3) — ffmpeg 50% 지점 1장. PKM/Videos/.thumbs/{id}.jpg 절대경로.
|
|
thumbnail_path: Mapped[str | None] = mapped_column(Text)
|
|
|
|
# NAS 드롭된 mov/mkv/avi quarantine 플래그 (§3). true 면 재생 불가 안내만 표시.
|
|
needs_conversion: Mapped[bool] = mapped_column(Boolean, default=False, server_default="false")
|
|
|
|
# facet 탐색 축 (Phase 2)
|
|
facet_company: Mapped[str | None] = mapped_column(Text)
|
|
facet_topic: Mapped[str | None] = mapped_column(Text)
|
|
facet_year: Mapped[int | None] = mapped_column(Integer)
|
|
facet_doctype: Mapped[str | None] = mapped_column(Text)
|
|
|
|
# 타임스탬프
|
|
created_at: Mapped[datetime] = mapped_column(
|
|
DateTime(timezone=True), default=datetime.now
|
|
)
|
|
updated_at: Mapped[datetime] = mapped_column(
|
|
DateTime(timezone=True), default=datetime.now, onupdate=datetime.now
|
|
)
|