정리·개념 확인·참고 자료 · 18장 레이다를 위한 머신러닝 기초

정리

ML은 AI의 하위 분야이고 딥러닝은 ML의 한 방법이다. 지도학습, 비지도학습, 강화학습 가운데 이 책의 사례는 지도학습을 쓴다.
특징 공학은 레이다의 도메인 지식을 ML에 심는 과정이다. 피크 SNR, Doppler 대역폭, RCS 변동, 고윳값 비가 대표적인 레이다 특징이다. 정규화 통계는 학습 세트에서만 계산한다.
k-NN, 결정 트리, 랜덤 포레스트, SVM은 특징 기반 ML의 기본 도구이다. 데이터가 적거나 해석이 중요할 때 여전히 쓸모 있다.
딥러닝은 특징 설계의 한계를 넘으려고 나왔다. end-to-end 학습으로 특징 추출과 분류를 함께 한다. 그래도 사례마다 고전적 기준선을 먼저 둔다.
뉴런은 가중합 $z=\sum w_ix_i+b$ 에 활성화 함수 $a=\sigma(z)$ 를 적용한다. 역전파는 연쇄 법칙으로 각 파라미터의 손실 기여를 출력에서 입력 쪽으로 계산한다. 학습·검증·테스트 분리, 미니배치, 알맞은 학습률이 모든 사례의 공통 기반이다.
평가 지표는 문제에 맞게 고른다. 탐지는 $P_{FA}$ 를 고정한 $P_D$ , 분류는 F1과 ROC-AUC, 복원은 PSNR과 NMSE이다. 표적 픽셀이 드문 탐지에서는 focal loss나 Dice loss가 all-zero collapse를 막는다.
CNN은 커널을 밀며 곱의 합을 계산해 공간 무늬를 계층적으로 배운다. ResNet의 skip connection은 깊은 학습을, U-Net은 픽셀 단위 예측을 가능하게 한다.
시뮬레이터 기반 데이터 생성, 도메인 무작위화, 전이학습(사전학습 → 동결 미세조정 → 전체 미세조정)이 레이다 AI의 기본 작업 흐름이다.

개념 확인

어떤 탐지기가 테스트 세트에서 표적 100개 가운데 85개를 맞혔고(TP = 85, FN = 15), 표적이 없는 곳에서 10번 경보를 냈다(FP = 10). F1 score는 얼마인가?

풀이

답 0.872

힌트 precision은 TP/(TP + FP), recall은 TP/(TP + FN)이다.

precision $=85/95=0.895$ , recall $=85/100=0.850$ 이다. F1 $=2PR/(P+R)=2\times0.895\times0.850/(0.895+0.850)=0.872$ 이다. 두 값의 조화 평균이라 작은 쪽인 recall에 가깝다.

64 × 64 RD 맵에 3 × 3 커널, 패딩 P = 1, 스트라이드 S = 2인 합성곱 층을 적용한다. 출력 한 변의 크기는 얼마인가?

풀이

답 32

힌트 출력 크기 $=\lfloor(N-K+2P)/S\rfloor+1$ 이다.

$\lfloor(64-3+2)/2\rfloor+1=\lfloor31.5\rfloor+1=32$ 이다. 스트라이드 2가 해상도를 절반으로 줄인다. 2 × 2 max pooling을 한 것과 같은 크기이다.

focal loss( $\gamma=2$ )는 cross-entropy에 $(1-p_t)^\gamma$ 를 곱한다. 모델이 배경 픽셀을 $p_t=0.9$ 로 맞혔을 때 이 곱하는 값은 얼마인가?

풀이

답 0.01

힌트 쉬운 샘플일수록 $p_t$ 가 1에 가깝다.

$(1-0.9)^2=0.01$ 이다. 이 픽셀의 손실은 BCE의 1 %로 줄어든다. $p_t=0.6$ 으로 겨우 맞힌 픽셀은 $(0.4)^2=0.16$ 이라 16배 더 큰 비중을 받는다. 그래서 학습이 어려운 표적 픽셀에 모인다.

z-score 정규화의 평균 $\mu$ 와 표준편차 $\sigma$ 를 어느 데이터에서 계산해야 하는가?

(가) 학습, 검증, 테스트 세트를 모두 합쳐 계산한다.
(나) 학습 세트에서만 계산하고, 검증과 테스트 세트에는 그 값을 그대로 적용한다.
(다) 세트마다 따로 계산한다.

풀이

답 (나) 학습 세트에서만 계산하고, 검증과 테스트 세트에는 그 값을 그대로 적용한다.

(가) 테스트 세트의 정보가 학습에 새어 들어가(데이터 누수) 성능이 실제보다 좋게 보인다.
(다) 같은 값이 세트마다 다르게 정규화되어, 학습한 모델이 보는 입력의 뜻이 바뀐다.

테스트 세트는 처음 보는 데이터를 대신한다. 정규화 통계도 학습의 일부이므로 학습 세트에서만 얻어야 한다.

참고 자료

I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. Cambridge, MA, USA: MIT Press, 2016, ISBN 978-0-262-03561-3. https://www.deeplearningbook.org/
G. James, D. Witten, T. Hastie, and R. Tibshirani, An Introduction to Statistical Learning. New York, NY, USA: Springer. https://www.statlearning.com/ 고전 ML 교과서, 무료 PDF.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), 2016, pp. 770–778, doi: 10.1109/CVPR.2016.90.
O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation," in Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS 9351, 2015, pp. 234–241, doi: 10.1007/978-3-319-24574-4_28.
T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, "Focal loss for dense object detection," in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), 2017, pp. 2999–3007, doi: 10.1109/ICCV.2017.324.
D. P. Kingma and J. Ba, "Adam: A method for stochastic optimization," arXiv:1412.6980, 2014. https://arxiv.org/abs/1412.6980
Google Machine Learning Crash Course. ML 전반, 무료 인터랙티브 강좌.
3Blue1Brown, Neural Networks. 신경망과 역전파 영상 4편.
TensorFlow Neural Network Playground. 브라우저에서 신경망을 직접 학습시켜 보는 도구.
Stanford CS231n Course Notes: 신경망, 역전파, CNN.
M. Nielsen, Neural Networks and Deep Learning, 2장 역전파.
Distill, Computing Receptive Fields of Convolutional Neural Networks, Feature Visualization.
scikit-learn User Guide(k-NN, SVM, random forest, PCA), PyTorch 60 Minute Blitz, A. Karpathy, Neural Networks: Zero to Hero, MIT 6.036 Introduction to Machine Learning.
radar-ai-projects, 레이다 AI 사례 예제 코드. https://github.com/remilab-cnu/radar-ai-projects

정리

개념 확인

참고 자료

함께 읽을 자료