hyungi
03a37c4b01
Phase 1.1a~1.3 / Phase 2.1~2.3 평가셋 측정 결과 + regression baseline + D9 STT 후속 VRAM 피크 관측 데이터. project_search_v2 메모리에 Phase 2 평가셋 v0.2 baseline용 보존 명시.
4.1 KiB
4.1 KiB
| 1 | id | query | category_abcd | order_group_id | intent | expected_doc_ids | expected_roles | expected_location_type | expected_location_value | returned_ids_top10 | latency_ms | doc_match_top5 | cross_format_eligible | cross_format_link_success_top10 | cross_format_link_success_top5 | range_citation_available | page_citation_available | matched_location_value | manual_refind_flag | chunk_idx_stddev_top10 | notes | error |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2 | Q-A-001 | TKP-26-0114 발주의 공급처는 어디인가? | A | TKP-26-0114 | fact_lookup | 8853;8854 | order_xlsx;order_pdf | sheet_range | 발주서!F9 | 8853;8854;8852;8851;8857;8856;8859;5210;8855;5178 | 1592.1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 219.72 | 정답: （주）대연기업. xlsx F9. | ||
| 3 | Q-A-002 | TKP-26-0132 발주의 납기일은? | A | TKP-26-0132 | fact_lookup | 8856;8857 | order_xlsx;order_pdf | sheet_range | 발주서!W9 | 8857;8856;8854;8853;8852;8851;8855;5210;5180;8859 | 315.5 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 292.80 | 정답: 2026-02-23. xlsx W9. | ||
| 4 | Q-A-003 | TKP-26-0112 plate 절단 단가는 얼마인가? | A | TKP-26-0112 | fact_lookup | 8851;8852 | order_xlsx;order_pdf | sheet_range | 발주서!X17 | 8852;8851;8854;8853;8857;8856;5116;8859;8855;5127 | 316.7 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 11.17 | 정답: 650,000원 (1개 항목). xlsx X17. | ||
| 5 | Q-A-004 | TKP-26-0114 발주의 총 금액은? | A | TKP-26-0114 | fact_lookup | 8853;8854 | order_xlsx;order_pdf | sheet_range | 발주서!AB23 | 8854;8853;8852;8851;8856;8857;8855;5116;8859;8858 | 322.0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 11.11 | 정답: 845,000원 (부가세 별도). xlsx AB23. | ||
| 6 | Q-B-001 | TKP-26-0114에서 2:1 HEAD SA516-70 품목의 수량은? | B | TKP-26-0114 | fact_lookup | 8853;8854 | order_xlsx;order_pdf | sheet_range | 발주서!V17 | 8853;8854;8856;8851;8852;8857;8855;5138;5178;5127 | 357.1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 205.41 | 정답: 2 EA. xlsx V17 / PDF p1 품목표. B 카테고리 = xlsx↔PDF 대응 확인. | ||
| 7 | Q-B-002 | TKP-26-0132 발주서 총액은 얼마이고 PDF 변환본에서도 확인 가능한가? | B | TKP-26-0132 | fact_lookup | 8856;8857 | order_xlsx;order_pdf | sheet_range | 발주서!AB20 | 8857;8856;8851;8854;8853;8852;8855;8858;8859;5116 | 336.3 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 11.15 | 정답: 74,290원. xlsx AB20 / PDF p1 TOTAL. 두 포맷 모두 일치해야 함. | ||
| 8 | Q-B-003 | TKP-26-0112 PO 번호를 PDF 변환본에서 확인 | B | TKP-26-0112 | fact_lookup | 8852;8851 | order_pdf;order_xlsx | page | p1 | 8852;8851;8854;8853;8857;8856;5210;5178;5135;5152 | 316.1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 215.47 | 정답: TKP-26-0112. PDF만으로도 식별 가능한지 확인 (primary=order_pdf). | ||
| 9 | Q-B-004 | TKP-26-0114 발주서 담당자는 누구인가? | B | TKP-26-0114 | fact_lookup | 8853;8854 | order_xlsx;order_pdf | sheet_range | 발주서!W13 | 8853;8854;8852;8851;8857;8856;4025;5182;8855;5180 | 319.9 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 57.01 | 정답: 안현기(Hyunki,Ahn). xlsx W13 (PREPAIRED BY) / PDF p1. | ||
| 10 | Q-C-001 | TKP-26-0132 세금계산서의 공급가액은? | C | TKP-26-0132 | fact_lookup | 8858 | invoice | page | p1 | 8856;8857;8854;8852;8853;8851;8858;8855;8859;8944 | 314.0 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 0.53 | 정답: 74,290원. invoice p1 공급가액 칸. 발주서 총액과 일치 확인용. | ||
| 11 | Q-C-002 | TKP-26-0114 발주금액과 세금계산서 공급가액이 일치하는가? | C | TKP-26-0114 | comparison | 8855;8853 | invoice;order_xlsx | page | p1 | 8853;8854;8852;8851;8856;8857;8855;8858;8859;8944 | 319.9 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0.57 | 정답: 일치 (양쪽 845,000원). invoice 공급가액 + xlsx TOTAL 비교 필요 — cross-format retrieval 특성 강조. C 카테고리지만 order_xlsx도 근거로 필요. | ||
| 12 | Q-C-003 | TKP-26-0132 거래명세표에 기재된 품목은 무엇인가? | C | TKP-26-0132 | fact_lookup | 8859 | statement | page | p1 | 8857;8856;8853;8854;8852;8851;8855;5185;5210;3991 | 316.2 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 101.48 | 정답: "레이져 A516-70 가공비 12t x 1197 x 1197" 외 1건. statement p1 품목 테이블. | ||
| 13 | Q-D-001 | TKP-26-0132 발주번호가 발주서·PDF·세금계산서·거래명세표 4개 문서에 모두 나오는가? | D | TKP-26-0132 | comparison | 8856;8857;8858;8859 | order_xlsx;order_pdf;invoice;statement | document_only | 8856;8857;8853;5180;8854;8851;8855;8852;8944;8858 | 341.8 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 316.33 | 정답: 모두 나옴 — order_xlsx(D6), order_pdf(PO NO), invoice(<안현기님-TKP-26-0132>), statement(<안현기님-TKP-26-0132>). D 카테고리는 "여러 문서 간 일치성" 자체가 질문이라 document_only 사용 — 위치보다 "같은 발주건에 속하는가"가 본질. |