고전 머신러닝 도구

특징 벡터가 주어지면 어떤 분류기를 쓰고, 언제 어떤 것을 고르는가?

k-최근접 이웃 (k-NN)

k-NN은 가장 가까운 $k$개 이웃의 다수결로 분류하는, 가장 직관적인 알고리즘이다. 따로 학습하는 단계 없이 학습 데이터를 모두 저장해 두고, 새 샘플이 들어오면 거리를 계산해 $k$개 이웃을 찾는다.

k-NN은 유클리드 거리를 쓰므로 특징 스케일링이 꼭 필요하다. SNR(5~25 dB)과 엔트로피(0~4)를 그대로 쓰면 SNR이 거리를 지배하므로, z-score 표준화를 한 뒤에 적용한다.

결정 트리 (decision tree)

결정 트리는 데이터를 조건(rule)으로 되풀이해 나누는 트리 구조 모델이다. 내부 노드는 특징 하나에 대한 임계값 조건이고, 리프 노드(leaf)는 최종 클래스나 예측값이다.

노드마다 불순도(impurity)를 가장 많이 줄이는 특징과 임계값으로 나눈다. 분류에는 Gini 불순도나 information gain을, 회귀에는 분산 감소를 쓴다.

랜덤 포레스트 (random forest)

랜덤 포레스트는 결정 트리 $T$개를 **앙상블(ensemble)**로 묶어 예측을 투표하는 방법이다. 각 트리는 두 가지 무작위성으로 서로 달라진다.

1. bagging(bootstrap aggregating): 학습 데이터에서 복원 추출한 부분집합으로 각 트리를 학습한다.
2. 특징 무작위 선택: 분할할 때마다 전체 특징 $p$개 가운데 $\sqrt{p}$개만 후보로 쓴다.

랜덤 포레스트는 특징 중요도(feature importance)를 함께 준다. 어떤 특징이 분할에 많이 기여했는지 수치로 알 수 있어, 레이다 특징 선택과 도메인 검증에 쓸모가 크다.

서포트 벡터 머신 (SVM)

SVM은 두 클래스를 가르는 초평면(hyperplane) 가운데 마진이 가장 큰 것을 찾는다. 가장 가까운 샘플(서포트 벡터)을 지나며 초평면과 나란한 두 경계 $w^\top x+b=\pm1$ 사이의 폭이 마진(margin)이고, 그 크기가 $2/\|w\|$이다.

그림에서 ▶를 누를 때마다 경계를 하나씩 시험한다. 경계의 방향을 정하면 두 클래스의 한가운데에 경계를 두고, 가장 가까운 점까지의 거리 $m$의 두 배를 그 경계의 마진으로 잰다. 시험한 마진이 오른쪽 곡선에 점으로 쌓이고, 마지막 단계에서 마진이 가장 큰 경계와 그 경계를 정하는 서포트 벡터가 나온다.

점은 정규화한 특징 두 개로 정한 가상의 샘플이다. 오른쪽 곡선의 가로축은 경계의 법선 방향 θ, 세로축은 마진 2m이다.

법선이 15°인 경계의 마진은 0.77이고, 법선을 60°로 돌리면 0.14로 줄어든다. 방향을 1°씩 바꾸어 보면 마진은 35.2°에서 1.19로 가장 크다. 이 경계의 두 마진 경계에 닿는 점 세 개가 서포트 벡터이고, 나머지 점은 마진 경계 밖에서 조금 옮겨도 경계가 바뀌지 않는다. SVM의 경계를 정하는 것은 경계 가까이의 몇 점뿐이다.

선형으로 나뉘지 않는 데이터도 고차원 공간으로 옮기면 나뉠 수 있다. 이때 옮긴 좌표를 실제로 계산하지 않고 커널 함수로 내적 $K(x_i, x_j) = \phi(x_i)^\top \phi(x_j)$만 계산하면 효율적이다. 이 방법을 커널 트릭(kernel trick)이라 한다.

알고리즘 고르기