Claude Code
345e2cedf0
plan safety-library-b3-1 PR1 (keyless·마이그 0). 모든 논문 수집기·reconcile·구매 스탬프 공유 토대.
- normalize_doi(): 소문자·URL/doi: prefix 제거·인용 구두점(.,;) 정리. 저장=조회 단일 함수.
괄호 '()' 보존 — 과삭제는 다른 논문 병합(데이터 손상)이라 near-dup 보다 위험.
- paper_doi_hash(): 서지 holder file_hash 키 = sha256('paper|{doi}')[:32] (statute 다중부 키 선례).
- with_paper_doi/with_parent_doi/read_paper_doi: 2-Document 계약(holder doi / child parent_doi 상호배타) extract_meta 헬퍼 (merge-safe).
- find_paper_holder(): 공유 dedup 조회 — lower(extract_meta #>> '{paper,doi}'), .scalars().first()(BBC 다중행 선례),
EXPLAIN 으로 uq_documents_paper_doi(마이그 351 라이브) 인덱스 사용 확인.
단위 12 passed. holder DB 조회 = PR2 arXiv 실수집서 라이브 검증. 소비자 없는 순수 코드(배포·런타임 변화 0).
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
39 lines
1.7 KiB
Python
39 lines
1.7 KiB
Python
"""B-3 논문 서지 holder 공유 dedup 조회.
|
|
|
|
모든 논문 수집기(OpenAlex/arXiv/KoreaScience/J-STAGE)·reconcile·구매 PDF 스탬프가
|
|
ingest 전 이 함수로 holder 존재를 확인한다(있으면 skip 또는 child 링크).
|
|
|
|
- 조회 키 = lower(extract_meta #>> '{paper,doi}') == normalize_doi(...) — 라이브 partial-unique
|
|
인덱스 uq_documents_paper_doi 와 동일 식(인덱스 사용).
|
|
- .scalars().first() — 교차게시·다중 landing-page 로 2행 이상 매칭 시 MultipleResultsFound
|
|
raise 방지(scalar_one_or_none 금지, 2026-06 BBC 수집 중단 선례 / news_collector 동일 규율).
|
|
- 서지 holder Document 의 **생성**은 각 수집기/스탬프 경로가 소유한다(초록 signal 문서 vs 구매
|
|
최소 holder 로 shape 가 다름). 이 모듈은 dedup 조회만 공유한다.
|
|
|
|
DB 조회라 본 모듈은 PR2(arXiv 실수집)에서 라이브 검증한다 — PR1 단위 테스트 대상은 doi.py(순수).
|
|
"""
|
|
|
|
from sqlalchemy import func, select
|
|
|
|
from models.document import Document
|
|
from services.papers.doi import normalize_doi
|
|
|
|
# 인덱스 식과 동일: lower(extract_meta #>> '{paper,doi}')
|
|
_DOI_EXPR = func.lower(Document.extract_meta[("paper", "doi")].astext)
|
|
|
|
|
|
async def find_paper_holder(session, raw_or_normalized_doi):
|
|
"""정규화 DOI 로 서지 holder Document 조회. 없으면 None.
|
|
|
|
인자는 raw 든 정규화든 받아 normalize_doi 로 통일(저장=조회 동일 함수 보장).
|
|
"""
|
|
doi = normalize_doi(raw_or_normalized_doi)
|
|
if not doi:
|
|
return None
|
|
result = await session.execute(
|
|
select(Document)
|
|
.where(Document.material_type == "paper", _DOI_EXPR == doi)
|
|
.limit(1)
|
|
)
|
|
return result.scalars().first()
|