From 698510bc0ec30027a22fe0a90ccba733a4dedfcb Mon Sep 17 00:00:00 2001 From: hyungi Date: Mon, 25 May 2026 06:20:20 +0000 Subject: [PATCH] feat(search): passage-RAG answer-seeking question subset (diagnose c2) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit PR-DocSrv-Hier-PassageRAG-Diagnose-1 c2. queries.yaml v0.2 의 answer-seeking 22문항 (exam 7 + korean_only 7 + mixed 8, decomposed-target 필터). targets_g2/g3 = 조건부 subset 산출용. broad seed (조건부 ~65-70% → N≥12 확보). 신규 authoring 0 (기존 graded 재사용). Co-Authored-By: Claude Opus 4.7 (1M context) --- tests/search_eval/queries_passage_rag.yaml | 236 +++++++++++++++++++++ 1 file changed, 236 insertions(+) create mode 100644 tests/search_eval/queries_passage_rag.yaml diff --git a/tests/search_eval/queries_passage_rag.yaml b/tests/search_eval/queries_passage_rag.yaml new file mode 100644 index 0000000..bffdcbf --- /dev/null +++ b/tests/search_eval/queries_passage_rag.yaml @@ -0,0 +1,236 @@ +version: passage-rag-0.1 +source: queries.yaml v0.2 answer-seeking subset (exam+korean_only+mixed, decomposed-target) +created_for: PR-DocSrv-Hier-PassageRAG-Diagnose-1 c2 +purpose: Claude-Code blind judge passage eval. targets_g2/g3 = conditional subset 산출용 (둘 다 evidence 에 타깃 포함 여부). notes = correctness 채점 ground-truth hint. +n: 22 +queries: +- id: nl_001 + category: korean_only + language: ko + query: 기계로 인한 산업재해 관련 법령 + targets_g2: + - 3856 + - 3868 + - 3879 + targets_g3: + - 3856 + notes: 플랜의 대표 예시 쿼리. 기계 안전 = 산안법 6장(3856, grade 3). +- id: nl_002 + category: korean_only + language: ko + query: 사업주가 도급을 줄 때 산업재해를 예방하기 위해 해야 할 일 + targets_g2: + - 3855 + - 3867 + - 3878 + targets_g3: + - 3855 + notes: 산안법 제5장 도급 시 산업재해 예방. Act(3855) = grade 3, Decree(3867)/Rule(3878) = grade 2. +- id: nl_003 + category: korean_only + language: ko + query: 유해화학물질을 다루는 회사가 지켜야 할 안전 의무 + targets_g2: + - 3980 + - 3981 + - 3982 + targets_g3: [] + notes: 화관법 제3-5장(유해화학물질 관리/영업자/사고 대응). 셋 다 동등하게 정답 후보. +- id: nl_004 + category: korean_only + language: ko + query: 중대재해가 발생했을 때 경영책임자가 처벌받는 기준 + targets_g2: + - 3916 + - 3917 + - 3920 + - 3921 + targets_g3: + - 3917 + notes: 중대재해처벌법 본법+시행령 제1-2장. 제2장(3917) = grade 3, 나머지 = grade 2. +- id: nl_005 + category: korean_only + language: ko + query: 안전보건교육은 누가 받아야 하고 어떤 내용을 다루는가 + targets_g2: + - 3853 + - 3865 + targets_g3: + - 3853 + notes: 산안법 제3장 안전보건교육 (3853, grade 3) + 시행령 제3장 (3865, grade 2). +- id: misc_001 + category: korean_only + language: ko + query: 강체의 평면 운동학 + targets_g2: + - 4063 + - 4065 + targets_g3: + - 4063 + notes: 공업역학 동역학 ch16(4063, grade 3), ch18(4065, grade 2). +- id: misc_002 + category: korean_only + language: ko + query: 질점의 운동역학 + targets_g2: + - 4060 + - 4061 + - 4062 + targets_g3: [] + notes: 공업역학 동역학 ch13~15 (질점 운동역학). 동등 정답 3건 (grade 2). +- id: cl_001 + category: mixed + language: mixed + query: 기계 안전 가드 설계 원리 + targets_g2: + - 3770 + - 3856 + targets_g3: + - 3770 + notes: Industrial Safety and Health Management(7-ED) Ch15 Machine Guarding(3770, grade 3)이 +- id: cl_002 + category: mixed + language: mixed + query: 산업 안전 입문서 + targets_g2: + - 3755 + - 3775 + - 3776 + - 3777 + targets_g3: [] + notes: Safety and Health for Engineers / Industrial Safety and Health Management +- id: cl_003 + category: mixed + language: mixed + query: 전기 안전 위험 + targets_g2: + - 3772 + - 3790 + targets_g3: [] + notes: Electrical Hazards(3772), Electrical Safety(3790) 영문 챕터. +- id: cl_004 + category: mixed + language: mixed + query: ASME 압력용기 설계 실무 + targets_g2: + - 5135 + - 5139 + - 5207 + - 5210 + targets_g3: + - 5207 + - 5210 + notes: 한국어 query → 영문/혼합 ASME 도서. +- id: cl_005 + category: mixed + language: mixed + query: ASME 용접 코드 해설 + targets_g2: + - 5209 + - 5224 + targets_g3: + - 5224 + notes: asme_code해설[용접](5224, ko 해설) = grade 3 (직접 일치). +- id: cl_006 + category: mixed + language: mixed + query: pressure vessel Korean industrial safety regulation + targets_g2: + - 3856 + - 4025 + targets_g3: [] + notes: 영문 query → 한국 법령. 고압가스 안전관리법(4025, ko) = grade 2, +- id: cl_007 + category: mixed + language: mixed + query: KGS 코드 LPG safety standard + targets_g2: + - 11645 + - 11647 + - 11689 + targets_g3: + - 11647 + notes: 혼합 keyword (KGS + LPG + safety standard). +- id: cl_008 + category: mixed + language: mixed + query: 수소 가스 안전 기준 hydrogen safety + targets_g2: + - 5169 + - 5178 + targets_g3: + - 5178 + notes: Hydrogen_Piping_and_Pipelines_ASME_Code(5178, en) = grade 3. +- id: exam_001 + category: exam + language: ko + query: 레이놀즈수 정의 공식 + targets_g2: + - 11504 + - 11505 + targets_g3: + - 11504 + notes: 'study_questions 2019-1회 #2 "레이놀즈수를 옳게 나타낸 것은?" 매핑.' +- id: exam_002 + category: exam + language: ko + query: 탱크 바닥 구멍 유체 유속 토리첼리 + targets_g2: + - 11495 + - 11496 + - 11500 + targets_g3: + - 11500 + notes: 'study_questions 2019-1회 #1 "수면의 높이가 10m로 일정한 탱크 바닥 5mm 구멍 유속"' +- id: exam_003 + category: exam + language: ko + query: 이상기체 음속 마하수 + targets_g2: + - 11514 + - 11515 + targets_g3: + - 11514 + notes: 'study_questions 2019-1회 #4 "이상기체 속에서의 음속을 옳게 나타낸 식" 매핑.' +- id: exam_004 + category: exam + language: ko + query: 고압가스 용기 내압시험 영구증가량 + targets_g2: + - 11591 + - 11644 + - 11691 + targets_g3: + - 11591 + notes: 'study_questions 2019-1회 #58 "고압가스 용접용기 내압검사 전증가량 250 mL' +- id: exam_005 + category: exam + language: ko + query: 도시가스 배관 매설 이격거리 + targets_g2: + - 11625 + - 11627 + targets_g3: + - 11627 + notes: 'study_questions 2019-1회 #76 "고압가스일반제조 사업소 밖 배관 매몰 설치' +- id: exam_006 + category: exam + language: ko + query: LPG 저장탱크 안전거리 분말소화기 + targets_g2: + - 11617 + - 11669 + targets_g3: + - 11617 + notes: 'study_questions 2019-1회 #69 (LPG지상저장탱크 거리) + #80 (소형저장탱크' +- id: exam_007 + category: exam + language: ko + query: 오리피스 차압식 유량계 + targets_g2: + - 11503 + - 11711 + - 11712 + targets_g3: + - 11712 + notes: 가스기사 계측 분야 (study_questions 회차 빈출). 02_오리피스유량계(11712) =