정리
- 네 사례는 모두 신호처리 기준선이 먼저 있고, 학습 모델이 같은 입력에서 무엇을 더 보는지 묻는다. 사례 연구는 비교가 아니라 해석이다.
- 다섯 축(입력, 라벨, 기준선, 평가 지표, 실패 유형)으로 모든 사례를 읽고, 이 순서로 짚는다. 지표는 숫자 하나가 아니라 트레이드오프 관계가 있는 여러 축이다.
- 다섯 축 표를 가로로 읽으면 한 사례가, 세로로 읽으면 한 축이 보인다. 사례는 다섯 축을 가장 잘 따져 볼 수 있는 것으로 고른다.
- 한 사례에서 기준선 재현과 변형 실험 하나 이상을 하고, Abstract부터 Conclusion까지 여섯 절, 본문 6~10쪽으로 쓴다.
- 한 번에 하나만 바꾸고, 기준선을 재현하고, 실패 유형을 분석하고, 코드와 seed로 재현성을 확보한다.
- 학습 곡선, 비교 표, ablation 막대, 대표 사례의 넷을 기본으로 보이고, 학습 곡선이 정상 수렴, 과적합, 과소적합, 지나친 학습률 가운데 어느 꼴인지 한 줄로 짚는다.
- 방법이 분명한가, 실험이 공정한가, 결과를 해석했는가, 코드가 재현되는가의 네 갈래로 스스로 점검한다. 기준선은 직접 재현하고, 정책은 검증 세트에서 고른다.
개념 확인
RD 맵 탐지 사례에서 손실 함수를 focal + Dice로 바꾸면서 임계값도 0.2에서 0.3으로 바꾸었더니 F1이 올랐다. 이 실험의 문제는 무엇인가?
풀이
답 (나) 두 변수를 함께 바꾸어 어느 쪽이 F1을 올렸는지 알 수 없다.
- (가) F1은 이 사례의 주요 지표 가운데 하나이다.
- (다) 손실 함수는 어떤 샘플이 학습을 세게 받는지를 바꾸어 결과를 바꾼다.
한 번에 독립 변수 하나만 바꾼다. 손실만 바꾼 실험과 임계값만 바꾼 실험을 따로 해야 각각의 기여를 잴 수 있다. 임계값은 검증 세트에서 고정한다.
임계값을 테스트 세트에서 F1이 가장 크게 나오도록 골랐다. 이 보고서의 테스트 F1을 어떻게 읽어야 하는가?
풀이
답 (다) 테스트 세트에 맞춘 값이라 처음 보는 데이터의 성능보다 높게 나온다. 임계값을 검증 세트에서 다시 골라야 한다.
- (가) 크기와 상관없이 테스트 세트는 마지막에 한 번만 쓴다.
- (나) 테스트 세트는 처음 보는 데이터를 대신하므로 거기서 고른 값은 성능을 과대평가한다.
정책(임계값, early stopping 등)은 검증 세트에서 고르고 테스트 세트에는 한 번만 적용한다(20장).
다섯 축 가운데 SAR speckle 제거 사례에서 가장 조심해서 정의해야 하는 축은 무엇인가?
풀이
답 (나) 라벨: speckle 없는 진짜 정답이 없어 pseudo-clean 참조를 어떻게 만드느냐가 점수의 뜻을 바꾼다.
- (가) Lee, Frost, median 필터가 모두 기준선이다.
- (다) 입력도 고르지만(SLC, 진폭, 로그 영역), 점수의 뜻을 통째로 바꾸는 것은 정답의 정의이다.
multi-look 정답과 Gaussian blur 정답은 서로 다른 것을 정답으로 가르치고 PSNR과 SSIM의 뜻도 바꾼다(23장).
참고 자료
- radar-ai-projects: 네 사례의 예제 코드와 재현 명령.
- 이 책 20장(RD 맵 탐지 사례), 21장(micro-Doppler 행동 인식 사례), 22장(레이다 지도 작성 사례), 23장(SAR speckle 제거 사례).
- A. Karpathy, A recipe for training neural networks, 2019. 학습 문제 해결과 실험 설계의 실전 지침.
- Google Machine Learning Crash Course: Classification: ROC and AUC, Overfitting.
- Papers with Code. 자기 사례에 가까운 최근 논문을 찾아 ablation 절의 표 구조를 참고한다.
- matplotlib Gallery, Choosing colormaps, seaborn gallery(혼동 행렬에는
seaborn.heatmap이 편하다),sklearn.metrics(classification_report,ConfusionMatrixDisplay,precision_recall_curve,roc_curve). - B. Mensh and K. Kording, "Ten simple rules for structuring papers," PLOS Comput. Biol., vol. 13, no. 9, e1005619, 2017, doi: 10.1371/journal.pcbi.1005619.
- G. M. Whitesides, "Whitesides' group: Writing a paper," Adv. Mater., vol. 16, no. 15, pp. 1375–1377, 2004, doi: 10.1002/adma.200400767.