본문으로 건너뛰기

실습 5 — 공개 데이터셋과 데이터 누수 없는 ML 기준선

📍 현재 위치: 6부 · 나만의 연구 시작하기 — 19장 중 17장. 16장은 물리로부터 용융풀을 시뮬레이션했습니다. 이 실습은 공개 벤치마크의 측정 데이터를 다루며, 5장에서 이런 모델이 왜 쉽게 속는지 설명했습니다.

쉽게 말하면

모의고사 문제가 연습 문제집과 똑같고 숫자만 섞여 있다고 상상해 보십시오. 이 시험에서 만점을 받아도 알 수 있는 것은 거의 없습니다. 공정한 시험은 학생이 연습하지 않은 유형의 문제를 냅니다. 기계학습에서 "연습 문제집"은 학습 데이터이고, 행(row)을 무작위로 나누는 것은 숫자만 섞은 모의고사입니다. 같은 실험의 반복 측정값이 양쪽에 모두 들어가므로, 모델은 사실상 이미 본 것으로 채점됩니다. 이 실습은 실제 레이저 용융 측정값으로 그 효과를 보여 준 뒤 공정한 시험을 수행합니다.

이 장에서 다루는 내용​

실제 공개 데이터셋(니켈 합금 718의 용융풀 단면을 다룬 NIST AM Bench 2022)을 고르고, 내려받기 전에 라이선스와 크기를 확인한 뒤, 불러와 그림으로 그리고, 두 가지 분할 방식으로 네 가지 기준선을 학습합니다. 같은 모델이 무작위 분할에서는 오차 2.2 µm를 보이지만, 공정 조건 하나를 통째로 빼면 40.8 µm가 됩니다. 이어서 불확실성 추정을 추가하고, 외삽을 시험하며, 결과가 주장할 수 없는 것을 적습니다. 모든 것은 examples/lab-open-data-and-ml/에 있습니다. 아래의 모든 출력은 2026-11-15에 저희가 실행한 결과입니다(macOS, arm64, Python 3.14.6, numpy 2.5.4, pandas 3.1.1, scikit-learn 1.9.1, scipy 1.18.1, matplotlib 3.11.2).

문제​

5장은 데이터 누수(leakage)와 부실한 검증을 이 분야에서 가장 흔한 실패로 꼽았습니다. 누수란 분할을 통해 시험 데이터의 정보가 모델에 흘러드는 것입니다. 여러 행이 같은 빌드, 같은 트랙, 같은 시편에서 나왔을 때 일부를 학습에, 일부를 시험에 넣으면 모델은 공정을 학습하는 것이 아니라 실험 자체를 알아봅니다 [1]. 해법은 일반화하려는 단위, 즉 빌드, 부품, 트랙 또는 공정 조건을 기준으로 나누는 것이며, 이를 그룹 교차검증(grouped cross-validation)이라고 합니다 [2][3]. 이를 생략하는 흔한 변명은 AM 데이터가 부족하다는 것입니다. 이 실습은 일부러 아주 작은 데이터셋을 써서, 데이터가 부족할수록 정직한 분할이 덜 중요해지는 것이 아니라 더 중요해짐을 보여 줍니다.

최신 기술 수준: 데이터 고르기​

1단계. 내려받기 전에 확인하기​

공개 AM 데이터는 여러 규모로 존재합니다(NIST AM Bench, NIST Public Data Repository, Materials Data Facility 같은 커뮤니티 저장소). 라이선스, 크기, 형식을 먼저 확인하면 몇 시간을 아낄 수 있습니다. NIST는 메타데이터 API를 제공하며, inspect_record.py는 표준 라이브러리만 사용합니다.

cd examples/lab-open-data-and-ml
python3 -m venv .venv && .venv/bin/pip install -r requirements.txt # took 2 min 4 s here, one time
source .venv/bin/activate
make inspect
title : AM Bench 2022 Measurement Results Data: Optical Microscopy of Laser-scanned Single Tracks and Pads (AMB2022-03)
licence: https://www.nist.gov/open/license
version/modified: 1.0.3 2022-09-13
files : 208, total 10.63 GB
by extension: {'sha256': 104, 'tif': 102, 'xlsx': 1, 'txt': 1}
small file: AMB2022-718-SH1-MeltPool_Cross-Section_Measurement_Results.xlsx 25811 bytes
small file: 2718_README.txt 7956 bytes

이 레코드는 10.63 GB이며 거의 전부가 현미경 사진입니다. 그 사진에서 뽑은 측정값은 26 kB짜리 스프레드시트 하나이고, 이 실습에 필요한 것은 이것뿐입니다. 데이터 README는 NIST를 명시하고 수정 시 그 사실을 표시하는 조건으로 사용, 수정, 재배포를 허용하며 [4], NIST의 공개 데이터 라이선스를 따릅니다 [5]. 레코드 자체의 README는 "Version 1.0.0"이라고 쓰여 있는데 API는 1.0.3을 보고합니다. 어느 쪽이 최신인지 추측하지 않고 DOI와 파일 체크섬을 인용합니다 [4]. 측정과 챌린지는 Weaver 등 [6]이, 벤치마크 결과는 Levine 등 [7]이 설명합니다.

2단계. 체크섬과 함께 내려받기​

make data
downloading AMB2022-718-SH1-MeltPool_Cross-Section_Measurement_Results.xlsx
AMB2022-718-SH1-MeltPool_Cross-Section_Measurement_Results.xlsx 25811 bytes sha256=2cfaac96aaca3dab... OK
2718_README.txt 7956 bytes sha256=8fa24c82e087a43e... (no pinned checksum)

NIST는 이 파일의 체크섬을 게시하지 않으므로, 2026-11-15에 받은 해시를 fetch_data.py에 고정했습니다. 나중에 불일치가 나타나면 NIST가 파일을 수정했다는 뜻이므로, 이전 결과를 믿기 전에 버전 이력을 읽으십시오.

3단계. 탐색하기​

make explore # 0.8 s
rows x cols: (228, 11)
plates: {'BP2': 94, 'BP3': 92, 'BP1': 42}
== single tracks (BP1) == 42 rows, 7 process cases
P_W v_mm_s D_um n depth_mean depth_sd width_mean
case
0 285 960 67 6 139.7 1.9 136.3
1.1 285 960 49 6 227.2 3.2 106.2
1.2 285 960 82 6 102.4 1.1 141.7
2.1 285 1200 67 6 109.7 1.7 112.9
2.2 285 800 67 6 176.5 2.6 156.1
3.1 325 960 67 6 166.1 2.0 134.3
3.2 245 960 67 6 116.9 1.2 129.4
pooled within-case sd of depth (um): 2.10

세 가지가 중요합니다. 첫째, 플레이트 BP1은 단일 트랙이며 서로 다른 공정 조건은 7개(레이저 출력 P, 스캔 속도 v, 빔 직경 D)뿐이고, 각각 여섯 번 측정되었습니다(반복 트랙 3개, 각각 단면 2곳). 둘째, 설계는 중심 조건(0)을 기준으로 한 번에 한 인자만 바꾸는 one factor at a time 방식입니다. 1.x는 빔, 2.x는 속도, 3.x는 출력을 바꾸며, 두 인자를 함께 바꾼 조건은 없습니다. 셋째, 반복 산포는 2.1 µm에 불과하고 조건 간 산포는 41.9 µm이므로, 2 µm를 크게 넘는 모델 오차는 측정이 아니라 모델의 문제입니다. 플레이트 BP2와 BP3는 패드(pad)입니다. 하나의 고정 조건에서 인접한 트랙을 만든 것이며(6개 패드에서 186행), 트랙 번호에 따라 깊이가 뚜렷하게 번갈아 변합니다.

mean depth by track parity (1 = odd tracks):
direction parity
X 0 158.9
1 164.7
Y 0 126.3
1 173.6

표는 이유를 알려 주지 않습니다. Weaver 등은 스캔 방향과 가스 흐름 방향이 평행할 때 패드 깊이가 줄어든다고 보고하는데 [6], 이는 가능한 해석 하나일 뿐 저희가 검증한 것은 아닙니다. explore.py는 figures/single_tracks.png와 figures/pads.png도 만듭니다. 데이터를 불러오는 코드(common.py)는 Line 1.1_2를 케이스 1.1, 반복 2로 해석하며, 이 케이스가 이후 모든 분석의 그룹 키입니다.

왜 어려운가: 분할이 답을 결정한다​

4단계. 네 가지 기준선, 두 가지 분할​

과제 A는 log P, log v, log D로 깊이를 예측합니다. 모델은 평균(능력 없음), 거듭제곱 법칙(power law)(로그에 대한 선형 회귀, 모수 4개), 가우시안 과정(Gaussian process, GP)(불확실성도 함께 제공 [8]), 랜덤 포레스트입니다. 각 모델을 두 번 채점합니다. 행 단위 무작위 7-fold, 그리고 leave-one-case-out(LOCO: 여섯 조건으로 학습하고 일곱 번째로 시험)입니다.

make baseline # 4.6 s
== Task A: depth of single tracks (42 rows, 7 cases) ==
model RMSE random-row split RMSE leave-one-case-out MAE leave-one-case-out
mean 42.2 48.3 41.5
power-law 2.4 3.8 2.9
GP 2.2 40.8 25.5
random forest 2.3 43.4 38.0
spread of depth in the data: sd = 41.9 um; within-case repeat sd = 2.1 um (measurement + repeat noise floor)

측정값 하나를 정사각형 하나로, 공정 조건 하나를 열 하나로 나타낸 두 개의 격자. 왼쪽의 무작위 행 분할은 모든 열에 시험용 정사각형이 있고 가우시안 과정 오차가 2.2 마이크로미터이며, 오른쪽은 케이스 1.1 전체를 제외하여 가우시안 과정 오차가 40.8 마이크로미터, 거듭제곱 법칙이 3.8이다. 같은 데이터와 모델을 두 가지 분할로 비교한 그림입니다. 무작위 행 분할은 모든 조건의 반복 측정값을 학습에 섞어 넣고(왼쪽), 조건 하나를 통째로 빼는 방식은 실제로 알고 싶은 것을 시험합니다(오른쪽). 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

표는 세 가지로 읽을 수 있습니다. (1) 무작위 분할에서는 평균을 제외한 모든 모델이 측정 잡음(2.2-2.4 µm)만큼 좋아 보입니다. 이것이 누수입니다. 모든 조건의 반복 측정값 대부분이 학습에 들어 있기 때문입니다. (2) LOCO에서는 GP와 랜덤 포레스트가 능력 없는 평균보다 간신히 나은 수준으로 떨어집니다(40.8과 43.4, 평균은 48.3 µm). 각 조건이 어떤 입력값을 혼자만 가지는 설계에서는 둘 다 외삽하지 못합니다. (3) 거듭제곱 법칙은 3.8 µm로 살아남습니다. 그 구조가 조건 하나로는 깨지지 않는 전역 추세이기 때문입니다. 정직한 분할에서 반복 산포의 약 두 배 이내인 점수를 내는 모델은 이것뿐입니다.

5단계. 불확실성, 그리고 그것이 다루지 못하는 것​

baseline.py 출력의 다음 블록은 제외된 각 케이스가 어떻게 보이는지, 그리고 제시된 불확실성이 얼마나 믿을 만한지를 보여 줍니다.

Power law fitted on all 42 rows: depth ~ P^1.24 * v^-1.17 * D^-1.54 (a fit to 7 settings, not a physical law)

case P_W v D_um measured power-law GP GP_sd
0 285 960 67 139.7 141.2 144.7 3.0
1.1 285 960 49 227.2 232.9 135.2 43.0
1.2 285 960 82 102.4 104.1 156.0 63.0
2.1 285 1200 67 109.7 106.1 114.7 31.4
2.2 285 800 67 176.5 171.7 162.3 11.9
3.1 325 960 67 166.1 165.8 158.6 7.9
3.2 245 960 67 116.9 116.7 116.3 15.7

row-level coverage under leave-one-case-out: 33/42 = 79% (nominal 95%)
empirical 95% quantile of |power-law error| over left-out cases: 6.9 um
power-law leave-one-case-out RMSE, bootstrap over 7 cases: median 3.7, 90% interval 2.5-4.5 um
  • GP의 표준편차는 난이도에 반응합니다. 중심 케이스는 3.0 µm, 빔 직경 양 끝의 두 케이스는 43.0과 63.0 µm입니다. 그러나 95% 구간이 제외된 행을 덮는 비율은 79%뿐입니다. GP의 구간은 커널 가정만큼만 정직하며, 조건이 7개뿐이면 이를 검증할 수 없습니다. 저희는 재보정하지 않고 그 사실을 적습니다.
  • 6.9 µm 구간은 거듭제곱 법칙의 LOCO 절대 오차의 95번째 백분위수이며, 독립된 케이스가 7개뿐인 42개 행에서 계산했습니다. 케이스를 재표본추출하는 부트스트랩은 RMSE의 90% 구간으로 2.5-4.5 µm를 주는데, 이것도 일곱 개의 숫자에서 나온 추정치입니다. 두 값 모두 참고용으로만 보십시오.
  • 적합된 지수(깊이가 출력에 따라 커지고 속도와 빔 크기에 따라 작아지며, 이는 예상과 일치함)는 7개 조건의 요약입니다. Weaver 등은 연구된 변수 범위에서 깊이가 체적 에너지 밀도와 상관되는 반면 폭은 그렇지 않았다고 보고합니다 [6]. 저희의 적합은 경험적 회귀이며 그 주장을 검증한 것이 아닙니다.

사용자가 실제로 궁금해하는 외삽은, 가장 깊은 용융풀(가장 작은 빔인 케이스 1.1)을 제외하여 시험합니다.

power-law predicted 232.9 um, measured 227.2 um
GP predicted 135.2 um, measured 227.2 um (GP says +/- 84.3 um)
random forest predicted 139.7 um, measured 227.2 um

거듭제곱 법칙은 로그 공간에서 매끄럽게 외삽하여 6 µm 이내로 맞힙니다. GP와 포레스트는 학습 데이터의 중심 근처 값을 예측하며, GP는 적어도 자신이 불확실하다고 말합니다(+/- 84.3 µm).

6단계. 신호가 더 약한 두 번째 과제​

과제 B는 방향, 트랙 번호, 홀짝으로 패드 트랙의 깊이를 예측하고, 무작위 행, leave-one-pad-out, leave-one-plate-out을 비교합니다.

model RMSE random-row RMSE leave-one-pad-out RMSE leave-one-plate-out
global mean 19.3 19.7 21.4
mean by direction+parity 8.0 8.8 21.4
linear (4 features) 12.7 15.0 23.2
random forest 7.6 7.7 23.3

여기서는 무작위 분할의 누수가 약합니다(8.0 대 8.8 µm). 엄격한 것은 플레이트 단위 분할입니다. X 패드 두 개는 플레이트 BP2에서, Y 패드는 BP3에서 나왔으므로 플레이트 하나를 빼면 방향 하나가 통째로 사라지고, 모든 모델이 능력 없는 평균의 21.4 µm 또는 그보다 나쁜 값으로 떨어집니다. 따라서 방향이 중요한지는 이 데이터로는 답할 수 없습니다. 이는 모델링의 실패가 아니라 설계의 한계입니다.

make test # 11.9 s: checks 228/42/186 rows, that no case is in both train and test, and that two runs match expected/

모델이 주장할 수 없는 것​

  1. 분말 베드 융합에 대해서는 아무것도 말할 수 없습니다. 이것은 한 시험 장비에서 IN718 맨 플레이트 위에 만든 단일 레이저 트랙이며, 분말도, 적층도, 부품 규모의 스캔 전략도 없습니다 [6].
  2. 보지 못한 조합에 대해서는 아무것도 말할 수 없습니다. 조건은 한 번에 한 인자씩만 변합니다. 거듭제곱 법칙은 높은 출력과 낮은 속도의 조합을 본 적이 없습니다. 용융 모드는 전도(conduction)에서 키홀(keyhole)로 바뀔 수 있고, 키홀에서는 깊이가 증발로 결정되어 훨씬 깊어질 수 있으므로 [9], 하나의 거듭제곱 법칙을 표본 조건에서 멀리 벗어난 곳에서 믿어서는 안 됩니다.
  3. 3.8 µm가 "모델 오차"라고 주장할 수 없습니다. 이는 일곱 개 fold에서 나온 숫자 하나이며, 그 fold들은 (한 플레이트, 한 장비, 한 세션이라는 점에서) 독립적이지 않습니다.
  4. 다른 장비, 레이저, 합금, 연구실로의 전이는 주장할 수 없습니다. 각각 하나뿐입니다. 2.1 µm의 반복 산포는 한 세션 안의 값이며 장비 간 재현성에 대해서는 아무것도 말해 주지 않습니다.
  5. 패드에서 인과적인 결론은 아무것도 끌어낼 수 없습니다. 6단계에서 보았듯 방향은 플레이트와 교락(confounded)되어 있습니다.

문제가 생길 때​

이 실습을 만들면서 실제로 겪은 실패입니다.

  • ModuleNotFoundError: No module named 'common'. 스크립트를 python -I로 실행하면 자신의 폴더가 격리되어 로컬 import가 실패합니다. 직접 작성한 코드에는 일반 python을 쓰고, -I는 신뢰할 수 없는 파일을 파싱하는 코드에만 쓰십시오.
  • 새 venv 설치는 느립니다(여기서는 2 min 4 s). 한 번만 하면 되고, 나머지는 몇 초면 끝납니다.
  • NIST 메타데이터 API가 q= 키워드 질의에서는 결과를 0건 반환했고 searchphrase= 매개변수는 작동했습니다. inspect_record.py는 레코드 ID 문자열(mds2-2718)로 검색합니다. 엔드포인트는 바뀔 수 있으며, DOI 링크가 안정적인 경로입니다.
  • 체크섬 불일치는 상위 파일이 바뀌었다는 뜻입니다. README의 버전 이력을 다시 읽으십시오.
  • 라이브러리 업그레이드 후 make test에서 마지막 자리 차이가 나면 expected/와 비교하십시오. 조용히 덮어쓰지 마십시오.

다음에 시도해 볼 것​

  1. 거듭제곱 법칙을 베이즈 선형 모델로 적합하고 LOCO에서 포함률(coverage)을 확인하여 케이스 수준의 불확실성을 추가해 보십시오.
  2. 레이저 결합(laser coupling) 데이터셋(NIST 레코드 mds2-3842, 93 kB zip이며 같은 케이스 번호를 사용함)을 추가하여, 흡수된 출력이 거듭제곱 법칙이 빗나가는 케이스를 설명하는지 확인해 보십시오.
  3. 깊이뿐 아니라 폭도 적합하여 같은 분할 결론이 유지되는지 보십시오.
  4. 직전 트랙의 깊이를 쓰는 모델로 패드 분석을 반복하여, 무작위 분할이 그 모델을 얼마나 부풀리는지 보십시오.
  5. 여러분의 수치를 챌린지 결과 [7]와 비교하고, 모델이 AM Bench에 대해 검증되었다고 하려면 무엇을 해야 하는지 적어 보십시오.

왜 중요한가​

이 기술은 어디서나 쓸 수 있습니다. 거의 모든 AM 데이터 표에는 같은 빌드, 부품, 조건을 공유하는 행이 있습니다. 분할이 존중하는 그룹의 이름을 댈 수 없다면, 대표 정확도는 의미가 없으며 서문의 증거 수준을 아는 심사자는 그 주장을 "실험실 규모, 논쟁 중"으로 분류할 것입니다.

실제 현장에서는​

  • NIST는 모델러가 예측을 블라인드로 시험할 수 있도록 AM Bench 측정값을 공개합니다 [7]. 이 실습은 그중 작은 일부를 사용했습니다.
  • ML 기반 과학에 대한 검토는 누수가 여러 분야에서 결과를 부풀리는 반복적 원인임을 기록하고 있습니다 [1].
  • 그룹 교차검증은 scikit-learn 문서의 표준 도구입니다 [3].

핵심 용어​

  • 데이터 누수(data leakage) — 학습 데이터나 분할을 통해 시험 데이터의 정보가 모델에 전달되어 점수가 지나치게 낙관적이 되는 현상.
  • 그룹 교차검증(grouped cross-validation) — 한 그룹(빌드, 부품, 트랙, 조건)의 모든 행이 전부 학습에 있거나 전부 시험에 있도록 하는 분할.
  • leave-one-case-out (LOCO) — 공정 조건을 하나씩 차례로 제외하는 그룹 교차검증.
  • RMSE — 제곱평균제곱근 오차. 목표 변수의 단위(여기서는 µm)로 나타낸 전형적인 예측 오차의 크기.
  • 잡음 하한(noise floor) — 같은 조건을 반복 측정한 값들 사이의 산포. 이 근처의 모델 오차는 모델링으로 더 줄일 수 없음.
  • 가우시안 과정(Gaussian process) — 예측값과 그 표준편차를 함께 돌려주는 회귀 모델.
  • 거듭제곱 법칙(power law) — 출력이 입력들의 고정 지수 거듭제곱의 곱인 모델. 로그를 취하면 선형.
  • 외삽(extrapolation) — 학습에서 본 조건의 범위 밖을 예측하는 일.
  • one-factor-at-a-time 설계 — 케이스마다 입력 하나만 바꾸는 실험으로, 입력 간 상호작용을 드러내지 못함.
  • 체크섬(checksum) — 파일이 바뀌지 않았는지 확인하는 짧은 지문(여기서는 SHA-256).

다음 이야기​

18장 연구 시작 키트는 이 실습을 하나의 방법으로 확장합니다. 이런 데이터셋 뒤의 문헌을 찾고, 비판적으로 읽고, 다른 사람이 재현할 수 있는 프로젝트를 설정하는 방법을 다룹니다.