REMI Lab강의 노트

Radar Signal Processing R19

19장 데이터셋과 라벨

정리

  • 공개 데이터셋을 볼 때는 텐서 모양과 클래스 수보다 무슨 문제를 위해 설계했는지, 일반화 축, 제공한 전처리, 후속 연구의 쓰임, 한계를 확인한다.
  • CARRADA(원시 차량 레이다의 장면 이해), RadarScenes(점 단위 point cloud), MSTAR(운용 조건이 바뀌는 SAR ATR), Sentinel-1 GRD(운영 SAR product), Soli(미세 손동작)는 저마다 다른 설계 문제를 푼다.
  • 일반화는 샘플 개수보다 어떤 축을 바꾸어 보았는지로 판단한다. 제공한 전처리, 표현, 메타데이터는 benchmark의 일부이다.
  • 학습 전략은 분할, 클래스 불균형, 라벨 예산을 먼저 해석하는 데서 시작한다. 무작위 분할은 레이다에서 누수를 남기기 쉽다.
  • 후속 연구는 데이터셋을 문제에 맞게 다시 쓴다. 데이터셋의 주장과 재사용의 주장을 나누어 본다. 직접 만든다면 논문, 저장소, 첫 예시 자료, 분할 규칙, 주석 규칙, 한계를 함께 남긴다.
  • 라벨이 없을 때는 군집화와 오토인코더로 구조를 배우고, 자기지도·대조 학습으로 데이터에서 학습 신호를 만든다.
  • 데이터의 양보다 다양성이 먼저이다. 능동학습은 모델이 가장 불확실한 샘플부터 라벨을 붙여 적은 예산으로 경계를 찾는다.

개념 확인

MSTAR의 표준 분할이 부각 17°로 학습하고 15°로 테스트하는 이유로 옳은 것을 고르라.

  1. (가) 15° 영상이 더 적어서 테스트 세트로 쓰기에 알맞은 크기이기 때문이다.
  2. (나) 영상을 얻는 기하를 일부러 바꾸어, 운용 조건이 달라질 때 인식이 버티는지 보려는 것이다.
  3. (다) 두 각도의 영상이 거의 같아 무작위 분할과 같은 결과를 주기 때문이다.
풀이

답 (나) 영상을 얻는 기하를 일부러 바꾸어, 운용 조건이 달라질 때 인식이 버티는지 보려는 것이다.

  • (가) 분할의 뜻은 크기가 아니라 바뀐 조건에 있다.
  • (다) 같은 클래스라도 산란 무늬가 달라진다. 그래서 무작위 분할보다 어렵다.

MSTAR는 운용 조건(operating condition)이 바뀌면 어떤 가정이 무너지는지 보려고 설계했다. 17° / 15° 분할은 그 시험의 한 축이고, 무작위로 섞으면 이 시험이 사라진다.

RadarScenes의 프레임을 무작위로 섞어 학습/테스트로 나누었더니 테스트 성능이 매우 높았다. 가장 먼저 의심할 것은 무엇인가?

  1. (가) 클래스 불균형 때문에 드문 클래스가 무시되었다.
  2. (나) 같은 시퀀스의 이웃 프레임이 학습과 테스트에 함께 들어가 누수가 생겼다.
  3. (다) 모델의 용량이 너무 작다.
풀이

답 (나) 같은 시퀀스의 이웃 프레임이 학습과 테스트에 함께 들어가 누수가 생겼다.

  • (가) 그러면 클래스별 recall이 낮아진다. 전체 테스트 성능이 이상하게 높은 것과는 다른 증상이다.
  • (다) 용량이 작으면 테스트 성능이 낮아지지, 지나치게 높아지지 않는다.

이웃 프레임은 거의 같은 장면이다. 시퀀스나 경로 단위로 나누어야 처음 보는 장면에 대한 성능을 잰다.

능동학습 그림에서 4회차 재학습 뒤의 임계값은 라벨이 붙은 false alarm 가운데 가장 큰 11.5 dB와 표적 가운데 가장 작은 13.1 dB의 한가운데이다. 임계값은 몇 dB인가?

풀이

답 12.3 dB

힌트 두 값의 평균이다.

(11.5+13.1)/2=12.3(11.5+13.1)/2=12.3 dB이다. 실제 경계 12 dB와 0.3 dB 차이이고, 이 차이는 경계 양쪽에 남은 라벨 없는 후보(12.4 dB)를 질의하면 더 줄어든다.

오토인코더로 재밍 신호를 탐지하려 한다. 학습 데이터로 알맞은 것은 무엇인가?

  1. (가) 재밍 신호만 모은 데이터
  2. (나) 정상과 재밍을 반씩 섞고 라벨을 붙인 데이터
  3. (다) 정상 레이다 신호만 모은 데이터
풀이

답 (다) 정상 레이다 신호만 모은 데이터

  • (가) 그러면 재밍 신호를 잘 되살리게 되어 복원 오차가 작아진다.
  • (나) 그것은 지도학습 분류기이고, 처음 보는 종류의 재밍을 놓칠 수 있다.

정상 신호만으로 학습하면 정상은 작은 복원 오차로, 이상은 큰 복원 오차로 되살아난다. 이상의 종류를 미리 알 필요가 없다.

참고 자료

  • A. Ouaknine, A. Newson, J. Rebut, F. Tupin, and P. Pérez, "CARRADA dataset: Camera and automotive radar with range-angle-Doppler annotations," in Proc. 25th Int. Conf. Pattern Recognit. (ICPR), 2021, pp. 5068–5075, doi: 10.1109/ICPR48806.2021.9413181.
  • O. Schumann, M. Hahn, N. Scheiner, F. Weishaupt, J. F. Tilly, J. Dickmann, and C. Wöhler, "RadarScenes: A real-world radar point cloud data set for automotive applications," in Proc. IEEE 24th Int. Conf. Inf. Fusion (FUSION), 2021, pp. 1–8, doi: 10.23919/FUSION49465.2021.9627037.
  • E. R. Keydel, S. W. Lee, and J. T. Moore, "MSTAR extended operating conditions: A tutorial," in Proc. SPIE 2757, Algorithms for Synthetic Aperture Radar Imagery III, 1996, pp. 228–242, doi: 10.1117/12.242059.
  • ESA, "Sentinel-1 mission," SentiWiki. https://sentiwiki.copernicus.eu/web/s1-mission
  • S. Wang, J. Song, J. Lien, I. Poupyrev, and O. Hilliges, "Interacting with Soli: Exploring fine-grained dynamic gesture recognition in the radio-frequency spectrum," in Proc. 29th ACM Symp. User Interface Softw. Technol. (UIST), 2016, pp. 851–860, doi: 10.1145/2984511.2984565.
  • A. Ouaknine, A. Newson, P. Pérez, F. Tupin, and J. Rebut, "Multi-view radar semantic segmentation," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), 2021. 링크
  • Y. Dalbah, J. Lahoud, and H. Cholakkal, "TransRadar: Adaptive-directional transformer for real-time multi-view radar semantic segmentation," in Proc. WACV, 2024. arXiv:2310.02260
  • RadarScenes publications page. https://radar-scenes.com/publications/
  • Z. Zhou et al., "SAR target recognition using the multi-aspect-aware bidirectional LSTM recurrent neural networks," arXiv:1707.09875. 링크
  • J. Park, S. Seo, and J. Yoo, "SAR ATR for limited training data using DS-AE network," Sensors, vol. 21, no. 13, 2021, doi: 10.3390/s21134538.
  • J. Yang et al., "LiOSR-SAR: Lightweight open-set recognizer for SAR imageries," Remote Sensing, vol. 16, no. 19, 2024, doi: 10.3390/rs16193741.
  • D. Mandal et al., "Dual polarimetric radar vegetation index for crop growth monitoring using Sentinel-1 SAR data," Remote Sensing of Environment, 2020, doi: 10.1016/j.rse.2020.111954.
  • B. DeVries et al., "Rapid and robust monitoring of flood events using Sentinel-1 and Landsat data on the Google Earth Engine," Remote Sensing of Environment, 2020, doi: 10.1016/j.rse.2020.111664.
  • G. Graldi, D. Zardi, and A. Vitti, "Retrieving soil moisture at the field scale from Sentinel-1 data over a semi-arid Mediterranean agricultural area," Remote Sensing, vol. 15, no. 12, 2023, doi: 10.3390/rs15122997.
  • K. Burrows, O. Marc, and D. Remy, "Using Sentinel-1 radar amplitude time series to constrain the timings of individual landslides," Natural Hazards and Earth System Sciences, vol. 22, 2022, doi: 10.5194/nhess-22-2637-2022.
  • Y. Shi et al., "Semi-supervised FMCW radar hand gesture recognition via pseudo-label consistency learning," Remote Sensing, vol. 16, no. 13, 2024, doi: 10.3390/rs16132267.
  • I. J. Tsang et al., "Radar-based hand gesture recognition using spiking neural networks," Electronics, vol. 10, no. 12, 2021, doi: 10.3390/electronics10121405.
  • Y. Cui et al., "Class-balanced loss based on effective number of samples," in Proc. CVPR, 2019. 링크
  • J. Ren et al., "Balanced meta-softmax for long-tailed visual recognition," in Proc. NeurIPS, 2020. 링크
  • K. Sohn et al., "FixMatch: Simplifying semi-supervised learning with consistency and confidence," in Proc. NeurIPS, 2020. arXiv:2001.07685
  • O. Sener and S. Savarese, "Active learning for convolutional neural networks: A core-set approach," in Proc. ICLR, 2018. 링크
  • Y. Ganin et al., "Domain-adversarial training of neural networks," J. Mach. Learn. Res., vol. 17, 2016. 링크
  • T. Chen, S. Kornblith, M. Norouzi, and G. Hinton, "A simple framework for contrastive learning of visual representations," in Proc. ICML, 2020. arXiv:2002.05709
  • P. Baldi and K. Hornik, "Neural networks and principal component analysis: Learning from examples without local minima," Neural Networks, vol. 2, no. 1, pp. 53–58, 1989, doi: 10.1016/0893-6080(89)90014-2.
  • B. Settles, "Active learning literature survey," Univ. of Wisconsin–Madison, Comput. Sci. Tech. Rep. 1648, 2009.
  • L. Weng, Self-supervised representation learning, 2019. 자기지도학습 전반의 정리.
  • Google Machine Learning: Clustering. k-means, GMM 등 군집화 기초.
  • Lightly. SimCLR, MoCo, BYOL을 구현한 자기지도학습 라이브러리.

함께 읽을 자료

  • 김병관, 대학원 강의 「레이다 신호처리 및 인공지능」, 충남대학교, 2026: CARRADA, RadarScenes, MSTAR, Sentinel-1 GRD, Soli의 설계 문제, 일반화 축, 전처리, 후속 연구, 학습 전략
  • 김병관, 「라벨이 부족할 때」, 대학원 강의 「레이다 신호처리 및 인공지능」 보충 자료, 충남대학교, 2026: 군집화, 오토인코더, 자기지도·대조 학습, 정보량, 능동학습