모델과 기본 분포 결과
어떤 분류기를 비교하고, 기본 분포에서 그들은 얼마나 맞히는가?
이 사례는 수작업 특징 기반 기준선과 신경망을 함께 비교한다. 비교의 목적은 최신 모델의 우위를 보이는 데 있지 않고, 어떤 표현이 micro-Doppler 모양을 더 안정적으로 잡는지 보는 데 있다.
- logistic regression(LogReg): 스펙트로그램에서 미리 뽑은 micro-Doppler 특징(ridge 폭, 변조 주기, 평균 Doppler 등)을 입력으로 받는 선형 분류기이다. 가장 단순한 기준선이다.
- RBF SVM: 같은 특징을 비선형 커널로 분류한다(18장). 선형 경계로 가를 수 없는 클래스도 가를 수 있다.
- TinyCNN: 작은 합성곱 신경망(conv 블록 4개 + GAP + dropout + linear)이다. 스펙트로그램을 영상으로 바로 받아 학습한다. 작은 모델이 기본 모양을 얼마나 잡는지 보는 비교 기준이다.
- ResNet-18: 기본 모델은 ResNetHAR이고
--model tiny_cnn으로 TinyCNNHAR를 고른다. 두 모델 모두 무작위로 초기화하며, 사전학습 가중치를 불러오는 경로는 없다.
ResNet-18은 자연 영상용 표준 backbone이다. 스펙트로그램도 2차원 무늬라 그대로 적용할 수 있다. 다만 가로축이 시간이므로 증강과 해석에서는 이 축을 따로 다루어야 한다.
사람이 섞이는 분할과 나뉘는 분할
행동 인식 결과를 해석할 때는 평가 분할을 어떻게 정의했는지도 보아야 한다. within-subject 분할에서는 같은 사람의 데이터가 학습과 테스트 양쪽에 들어가고, cross-subject 분할에서는 학습과 테스트에 나오는 사람이 완전히 다르다. within-subject 정확도는 보통 매우 높지만, 모델이 개인의 걸음 습관을 외웠을 수 있다. 활동 분류 데이터셋의 기본 분할은 시뮬레이터 출력을 IID로 섞으므로 within-subject에 가깝다. 여러 사람에게서도 동작하는 분류기인지 확인하려면 cross-subject 평가를 따로 해야 한다.
기본 분포의 결과
기본 분포(default split)에서는 모든 비교군이 매우 높은 정확도를 보인다. 전체 결과는 기술 노트에 있다. 기본 분포의 결과는 일반화 검증과 나누어 해석한다.
| 방법 | 기본 분할 테스트 정확도 | 해석 |
|---|---|---|
| 수작업 특징 LogReg | 98.13 % | 기본 모양은 선형 모델만으로도 상당 부분 갈린다 |
| 수작업 특징 RBF SVM | 98.63 % | 비선형 경계가 미세한 클래스 차이까지 가른다 |
| TinyCNN | 100.00 % | 작은 CNN도 IID 조건에서는 포화한다 |
| ResNet-18 | 100.00 % | 깊은 모델의 차이는 stress 조건에서 확인해야 한다 |
모든 모델이 98 % 이상이라는 결과만으로는 결론을 내릴 수 없다. 이 값은 기본 분포의 천장이고, stress 결과를 해석할 기준선으로 쓴다. 다음 절의 stress 결과 그림에서 Default 묶음이 같은 값이다.