Stress 실험과 일반화
기본 분포의 높은 정확도는 물리 조건이 바뀔 때도 유지되는가?
stress 세트로는 분류기가 기본 모양을 외웠는지, 물리 조건이 바뀌어도 활동의 구조를 잡아내는지 확인한다. stress는 다음 세 축으로 정의한다.
| stress 세트 | 범위 | 검사하는 물리 효과 |
|---|---|---|
| aspect angle stress | 60° – 80° | cos θ가 줄어 Doppler 대역폭이 좁아지면서 클래스 사이의 폭 차이가 준다 |
| low-SNR stress | 0 – 8 dB | 스펙트로그램 ridge가 noise floor에 묻힐 때 모양이 유지되는지 확인한다 |
| far-range stress | 18 – 26 m | 거리가 기본 분포 밖으로 벗어날 때 스펙트로그램이 안정한지 확인한다 |
far-range 결과는 해석에 특히 주의해야 한다. 지금의 시뮬레이터는 SNR을 따로 샘플링하므로, 거리만 멀어졌다고 스펙트로그램이 언제나 약해지지는 않는다. 따라서 far range에서 정확도가 유지된 것은 지금의 SNR 샘플링 설계에서 거리의 효과가 작게 나타났기 때문이고, 모델이 거리 변화에 완전히 강하다는 뜻은 아니다. 실제 운용 환경에서는 거리에 따라 SNR이 함께 떨어지므로 far-range 일반화는 따로 실험해야 한다.
stress 결과와 일반화 gap
기본 정확도만 보면 네 비교군이 모두 좋아 보이지만, stress 결과를 함께 보면 수작업 특징과 CNN 사이의 차이가 분명해진다. 정확도는 aspect angle stress에서 가장 크게 떨어지고, low-SNR 조건에서는 수작업 특징이 CNN보다 더 크게 흔들린다. 기본 분포에서 포화한 모델도 aspect angle stress에서는 정확도가 두 자릿수로 떨어진다.
| stress 세트 | RBF SVM | TinyCNN | ResNet-18 | 해석 |
|---|---|---|---|---|
| aspect angle 60°–80° | 62.40 % | 87.30 % | 85.77 % | Doppler 폭이 줄어 walk/run/wave가 가까워진다. 수작업 특징이 가장 크게 무너진다 |
| low SNR 0–8 dB | 83.73 % | 99.87 % | 100.00 % | ridge가 흐려질 때 CNN은 국소 무늬를 여러 자리에서 조합해 안정적으로 동작한다 |
| far range 18–26 m | 98.53 % | 100.00 % | 100.00 % | SNR을 따로 샘플링하므로 거리 효과가 작게 보이는 결과이다(위 설명 참고) |
세 stress 가운데 aspect angle stress가 일반화를 가장 엄격하게 시험한다. radial Doppler 자체가 줄어 클래스 사이의 모양이 본질적으로 가까워지므로, 기본 분포에서 100 %였던 모델도 80 % 중반으로 내려간다. 반면 low-SNR은 ridge가 흐려질 뿐 클래스 사이의 본질적 구조는 남으므로 CNN은 거의 영향을 받지 않는다. 수작업 특징은 ridge 폭 같은 통계량을 바로 쓰므로 잡음에 더 민감하다.
aspect angle에 대해 잰 정확도는 기본 분포(0°–60°)와 stress 세트(60°–80°)의 두 구간뿐이다. 정확도가 어떤 각도에서 갑자기 떨어지는지, 각도를 따라 조금씩 떨어지는지 가리려면 aspect angle을 몇 도 간격으로 나눈 세트마다 정확도를 따로 재야 한다.