REMI Lab강의 노트

Radar Signal Processing R23

23장 사례: SAR despeckling

SAR에 AI를 적용할 때의 주의점

SAR 데이터를 AI 모델에 넣기 전에 놓치면 안 되는 성질은 무엇인가?

아래 성질을 놓치면 모델이 학습되더라도 실제 SAR 영상에서는 성능이 무너진다.

speckle 통계: 곱셈 잡음

광학 영상의 잡음은 보통 덧셈 잡음(additive)이다. 곧 Iobs=Itrue+nI_{obs} = I_{true} + n이다. SAR speckle은 곱셈 잡음(multiplicative)이다.

Iobs=Itrue⋅s,s∼Gamma(L,1/L)I_{obs} = I_{true} \cdot s, \quad s \sim \text{Gamma}(L, 1/L)

LL은 look 수, ss는 speckle 인자이다. AI 학습의 관점에서 세 가지가 따라 나온다.

  • 로그 변환이 speckle을 덧셈 잡음으로 바꾼다(log⁡Iobs=log⁡Itrue+log⁡s\log I_{obs} = \log I_{true} + \log s). 입력을 dB 눈금으로 넣으면 학습이 안정된다.
  • 표준 MSE 손실은 곱셈 잡음에 최적이 아니다. 로그 영역의 MSE나 speckle을 고려한 손실(예: Gamma 분포의 negative log-likelihood)이 더 알맞다.
  • 데이터를 정규화할 때는 단순한 z-score 대신 영상마다의 로그 눈금 정규화를 고려한다.

복소 데이터(SLC): 위상의 값어치

SLC 데이터는 진폭과 위상을 모두 담는다. 대부분의 CNN은 실수 입력을 가정하므로 복소수를 다루는 선택지는 넷이다.

  • 진폭만 쓰기: ∣s∣=I2+Q2|s| = \sqrt{I^2 + Q^2}. 객체 탐지, 분류에 알맞다. 위상 정보는 잃는다.
  • I/Q 2채널 입력: 복소수를 2채널 실수 텐서로 바꾼다. 위상 구조를 지킬 수 있다.
  • 복소 CNN: 복소 가중치와 연산을 쓰는 전용 구조이다. InSAR, coherence, autofocus에서 이론적 장점이 있지만 구현이 복잡하다.
  • 크기와 위상 나누기: log⁡∣s∣\log|s|와 ∠s\angle s를 따로 채널로 넣는다. 위상은 [−π,π][-\pi, \pi]로 접혀 있으므로 (cos⁡∠s,sin⁡∠s)(\cos\angle s, \sin\angle s) 2채널로 나타내면 불연속을 피한다.

비스듬히 보는 기하: 표준 CV 모델의 한계

SAR는 항공기나 위성에서 비스듬히 내려다보는 side-looking 기하를 쓰고, 이 기하에서 세 가지 성질이 나온다.

  • 방향 의존성: 같은 표적도 방위 방향과 거리 방향에서 모습이 다르다. 표준 CNN의 회전 불변(rotation-invariant) 가정이 성립하지 않는다.
  • layover, foreshortening, 그림자: side-looking 기하가 만드는 거리 방향의 왜곡이다. 레이다를 향한 경사면은 거리 방향으로 압축된다(foreshortening). 높은 구조물의 꼭대기가 밑보다 센서에 먼저 닿으면 위아래가 뒤집혀 겹친다(layover). 센서에서 가려진 영역은 신호가 없는 그림자로 남는다. ImageNet으로 학습한 모델은 광학 영상에 없는 이런 무늬를 본 적이 없어 특징을 잘 뽑지 못한다.
  • 분해능 이방성: 거리 분해능 δr=c/(2B)\delta_r = c/(2B)와 방위 분해능 δaz=D/2\delta_{az} = D/2가 다를 수 있다(17장). 픽셀이 정사각형이 아니면 표준 등방성 합성곱 커널이 최적이 아니다.
특성 광학 영상 SAR 영상 표준 CV 모델의 문제
잡음 모델 덧셈 Gaussian 곱셈 Gamma(speckle) MSE 손실이 speckle에 맞지 않는다
데이터 형식 실수(uint8, 3채널) 복소 SLC 또는 실수 진폭 위상을 무시하거나 정규화를 잘못한다
기하 왜곡 원근 변환(약함) layover, 그림자, foreshortening 학습 데이터 분포가 어긋난다(domain gap)
학습 데이터 ImageNet 수백만 장 수천~수만 장(라벨이 드묾) 과적합, 전이학습의 불일치
동적 범위 8비트(0~255) 수십 dB(선형 눈금) 입력 정규화에 실패하면 기울기가 사라진다

실용 지침은 넷이다.

  1. 입력은 반드시 로그 눈금(dB)으로 바꾼 뒤 영상마다 정규화한다.
  2. ImageNet 사전학습 모델은 미세조정 학습률을 backbone에서 10배 낮게 둔다.
  3. 데이터 증강에서 좌우 반전(flip)은 안전하지만, 90° 회전은 SAR 기하를 깰 수 있으므로 조심한다.
  4. 가능하면 SAR 전용 사전학습 모델(SSL4EO-SAR, SarDet 등)을 쓴다.