feat(search): passage-RAG answer-seeking question subset (diagnose c2)
PR-DocSrv-Hier-PassageRAG-Diagnose-1 c2. queries.yaml v0.2 의 answer-seeking 22문항 (exam 7 + korean_only 7 + mixed 8, decomposed-target 필터). targets_g2/g3 = 조건부 subset 산출용. broad seed (조건부 ~65-70% → N≥12 확보). 신규 authoring 0 (기존 graded 재사용). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
This commit is contained in:
hyungi
@@ -0,0 +1,236 @@
|
||||
version: passage-rag-0.1
|
||||
source: queries.yaml v0.2 answer-seeking subset (exam+korean_only+mixed, decomposed-target)
|
||||
created_for: PR-DocSrv-Hier-PassageRAG-Diagnose-1 c2
|
||||
purpose: Claude-Code blind judge passage eval. targets_g2/g3 = conditional subset 산출용 (둘 다 evidence 에 타깃 포함 여부). notes = correctness 채점 ground-truth hint.
|
||||
n: 22
|
||||
queries:
|
||||
- id: nl_001
|
||||
category: korean_only
|
||||
language: ko
|
||||
query: 기계로 인한 산업재해 관련 법령
|
||||
targets_g2:
|
||||
- 3856
|
||||
- 3868
|
||||
- 3879
|
||||
targets_g3:
|
||||
- 3856
|
||||
notes: 플랜의 대표 예시 쿼리. 기계 안전 = 산안법 6장(3856, grade 3).
|
||||
- id: nl_002
|
||||
category: korean_only
|
||||
language: ko
|
||||
query: 사업주가 도급을 줄 때 산업재해를 예방하기 위해 해야 할 일
|
||||
targets_g2:
|
||||
- 3855
|
||||
- 3867
|
||||
- 3878
|
||||
targets_g3:
|
||||
- 3855
|
||||
notes: 산안법 제5장 도급 시 산업재해 예방. Act(3855) = grade 3, Decree(3867)/Rule(3878) = grade 2.
|
||||
- id: nl_003
|
||||
category: korean_only
|
||||
language: ko
|
||||
query: 유해화학물질을 다루는 회사가 지켜야 할 안전 의무
|
||||
targets_g2:
|
||||
- 3980
|
||||
- 3981
|
||||
- 3982
|
||||
targets_g3: []
|
||||
notes: 화관법 제3-5장(유해화학물질 관리/영업자/사고 대응). 셋 다 동등하게 정답 후보.
|
||||
- id: nl_004
|
||||
category: korean_only
|
||||
language: ko
|
||||
query: 중대재해가 발생했을 때 경영책임자가 처벌받는 기준
|
||||
targets_g2:
|
||||
- 3916
|
||||
- 3917
|
||||
- 3920
|
||||
- 3921
|
||||
targets_g3:
|
||||
- 3917
|
||||
notes: 중대재해처벌법 본법+시행령 제1-2장. 제2장(3917) = grade 3, 나머지 = grade 2.
|
||||
- id: nl_005
|
||||
category: korean_only
|
||||
language: ko
|
||||
query: 안전보건교육은 누가 받아야 하고 어떤 내용을 다루는가
|
||||
targets_g2:
|
||||
- 3853
|
||||
- 3865
|
||||
targets_g3:
|
||||
- 3853
|
||||
notes: 산안법 제3장 안전보건교육 (3853, grade 3) + 시행령 제3장 (3865, grade 2).
|
||||
- id: misc_001
|
||||
category: korean_only
|
||||
language: ko
|
||||
query: 강체의 평면 운동학
|
||||
targets_g2:
|
||||
- 4063
|
||||
- 4065
|
||||
targets_g3:
|
||||
- 4063
|
||||
notes: 공업역학 동역학 ch16(4063, grade 3), ch18(4065, grade 2).
|
||||
- id: misc_002
|
||||
category: korean_only
|
||||
language: ko
|
||||
query: 질점의 운동역학
|
||||
targets_g2:
|
||||
- 4060
|
||||
- 4061
|
||||
- 4062
|
||||
targets_g3: []
|
||||
notes: 공업역학 동역학 ch13~15 (질점 운동역학). 동등 정답 3건 (grade 2).
|
||||
- id: cl_001
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: 기계 안전 가드 설계 원리
|
||||
targets_g2:
|
||||
- 3770
|
||||
- 3856
|
||||
targets_g3:
|
||||
- 3770
|
||||
notes: Industrial Safety and Health Management(7-ED) Ch15 Machine Guarding(3770, grade 3)이
|
||||
- id: cl_002
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: 산업 안전 입문서
|
||||
targets_g2:
|
||||
- 3755
|
||||
- 3775
|
||||
- 3776
|
||||
- 3777
|
||||
targets_g3: []
|
||||
notes: Safety and Health for Engineers / Industrial Safety and Health Management
|
||||
- id: cl_003
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: 전기 안전 위험
|
||||
targets_g2:
|
||||
- 3772
|
||||
- 3790
|
||||
targets_g3: []
|
||||
notes: Electrical Hazards(3772), Electrical Safety(3790) 영문 챕터.
|
||||
- id: cl_004
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: ASME 압력용기 설계 실무
|
||||
targets_g2:
|
||||
- 5135
|
||||
- 5139
|
||||
- 5207
|
||||
- 5210
|
||||
targets_g3:
|
||||
- 5207
|
||||
- 5210
|
||||
notes: 한국어 query → 영문/혼합 ASME 도서.
|
||||
- id: cl_005
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: ASME 용접 코드 해설
|
||||
targets_g2:
|
||||
- 5209
|
||||
- 5224
|
||||
targets_g3:
|
||||
- 5224
|
||||
notes: asme_code해설[용접](5224, ko 해설) = grade 3 (직접 일치).
|
||||
- id: cl_006
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: pressure vessel Korean industrial safety regulation
|
||||
targets_g2:
|
||||
- 3856
|
||||
- 4025
|
||||
targets_g3: []
|
||||
notes: 영문 query → 한국 법령. 고압가스 안전관리법(4025, ko) = grade 2,
|
||||
- id: cl_007
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: KGS 코드 LPG safety standard
|
||||
targets_g2:
|
||||
- 11645
|
||||
- 11647
|
||||
- 11689
|
||||
targets_g3:
|
||||
- 11647
|
||||
notes: 혼합 keyword (KGS + LPG + safety standard).
|
||||
- id: cl_008
|
||||
category: mixed
|
||||
language: mixed
|
||||
query: 수소 가스 안전 기준 hydrogen safety
|
||||
targets_g2:
|
||||
- 5169
|
||||
- 5178
|
||||
targets_g3:
|
||||
- 5178
|
||||
notes: Hydrogen_Piping_and_Pipelines_ASME_Code(5178, en) = grade 3.
|
||||
- id: exam_001
|
||||
category: exam
|
||||
language: ko
|
||||
query: 레이놀즈수 정의 공식
|
||||
targets_g2:
|
||||
- 11504
|
||||
- 11505
|
||||
targets_g3:
|
||||
- 11504
|
||||
notes: 'study_questions 2019-1회 #2 "레이놀즈수를 옳게 나타낸 것은?" 매핑.'
|
||||
- id: exam_002
|
||||
category: exam
|
||||
language: ko
|
||||
query: 탱크 바닥 구멍 유체 유속 토리첼리
|
||||
targets_g2:
|
||||
- 11495
|
||||
- 11496
|
||||
- 11500
|
||||
targets_g3:
|
||||
- 11500
|
||||
notes: 'study_questions 2019-1회 #1 "수면의 높이가 10m로 일정한 탱크 바닥 5mm 구멍 유속"'
|
||||
- id: exam_003
|
||||
category: exam
|
||||
language: ko
|
||||
query: 이상기체 음속 마하수
|
||||
targets_g2:
|
||||
- 11514
|
||||
- 11515
|
||||
targets_g3:
|
||||
- 11514
|
||||
notes: 'study_questions 2019-1회 #4 "이상기체 속에서의 음속을 옳게 나타낸 식" 매핑.'
|
||||
- id: exam_004
|
||||
category: exam
|
||||
language: ko
|
||||
query: 고압가스 용기 내압시험 영구증가량
|
||||
targets_g2:
|
||||
- 11591
|
||||
- 11644
|
||||
- 11691
|
||||
targets_g3:
|
||||
- 11591
|
||||
notes: 'study_questions 2019-1회 #58 "고압가스 용접용기 내압검사 전증가량 250 mL'
|
||||
- id: exam_005
|
||||
category: exam
|
||||
language: ko
|
||||
query: 도시가스 배관 매설 이격거리
|
||||
targets_g2:
|
||||
- 11625
|
||||
- 11627
|
||||
targets_g3:
|
||||
- 11627
|
||||
notes: 'study_questions 2019-1회 #76 "고압가스일반제조 사업소 밖 배관 매몰 설치'
|
||||
- id: exam_006
|
||||
category: exam
|
||||
language: ko
|
||||
query: LPG 저장탱크 안전거리 분말소화기
|
||||
targets_g2:
|
||||
- 11617
|
||||
- 11669
|
||||
targets_g3:
|
||||
- 11617
|
||||
notes: 'study_questions 2019-1회 #69 (LPG지상저장탱크 거리) + #80 (소형저장탱크'
|
||||
- id: exam_007
|
||||
category: exam
|
||||
language: ko
|
||||
query: 오리피스 차압식 유량계
|
||||
targets_g2:
|
||||
- 11503
|
||||
- 11711
|
||||
- 11712
|
||||
targets_g3:
|
||||
- 11712
|
||||
notes: 가스기사 계측 분야 (study_questions 회차 빈출). 02_오리피스유량계(11712) =
|
||||
Reference in New Issue
Block a user