변화 탐지

같은 지역을 다른 때 찍은 두 SAR 영상에서 무엇이 바뀌었는지 어떻게 찾는가?

변화 탐지(change detection)는 같은 지역을 서로 다른 두 시점 $t_1$ , $t_2$ 에 찍은 SAR 영상 쌍을 비교해 바뀐 영역(건설, 침수, 산사태, 함선 이동 등)을 자동으로 찾는 일이다.

첫 단계는 두 영상을 정밀하게 맞추는 정합(co-registration)이다. 정합 오차가 1픽셀만 넘어도 바뀌지 않은 영역에서 차이 신호가 생겨 false alarm이 크게 는다. 위성 SAR는 궤도 정밀도 덕분에 1픽셀보다 정밀하게 정합할 수 있고, 항공 SAR는 GPS/IMU 기반의 지오코딩을 거친 뒤 정합한다.

비코히어런트 방법

비코히어런트 방법은 위상을 쓰지 않고 강도만 비교하므로, 다른 플랫폼이나 다른 때 찍은 영상에도 그대로 적용할 수 있다.

단순 차분: $D_{diff} = I_{t_2} - I_{t_1}$ . speckle이 곱셈 잡음이라 강도가 큰 영역에서 차분이 크게 나오는 편향이 있다.
로그 비율(log-ratio): $D_{LR} = \log(I_{t_2} / I_{t_1}) = \log I_{t_2} - \log I_{t_1}$ . 곱셈 speckle을 덧셈 잡음으로 바꾸어 강도와 무관하게 변화를 찾는다. 바뀌지 않은 영역에서 $D_{LR} \approx 0$ , 바뀐 영역에서 $|D_{LR}| \gg 0$ 이다.
비율 탐지기(ratio detector): $D_R = \min\!\left(I_{t_1}/I_{t_2},\, I_{t_2}/I_{t_1}\right) \in [0, 1]$ . 완전히 바뀌면 $D_R \to 0$ , 그대로이면 $D_R \to 1$ 이다. 임계값으로 이진 변화 마스크를 만든다.

수면은 SAR에서 거울 반사로 매우 어둡게 보이므로, 홍수는 로그 비율이 크게 음수인 영역이 된다. 그림에서 ▶를 누를 때마다 합성한 홍수 전후 영상에 한 단계씩 적용된다. 먼저 픽셀마다 로그 비율을 내고, 다음에 두 영상을 국소 평균한 뒤 비율을 내고, 임계값으로 변화 마스크를 만들어 참 변화와 견준다. 아래의 히스토그램이 바뀌지 않은 픽셀과 바뀐 픽셀의 $D$ 가 어떻게 갈리는지 보인다.

64 × 64 합성 장면이고, 두 날짜의 speckle은 서로 독립인 single-look 지수 분포이다. ③의 파랑은 어두워진 곳, 빨강은 밝아진 곳이고, 마지막 단계의 초록은 맞힌 픽셀, 주황은 놓친 픽셀, 붉은색은 false alarm이다.

바뀌지 않은 픽셀의 로그 비율은 두 독립 지수 분포의 비라서 표준편차가 7.76 dB(식으로는 7.88 dB)나 된다. 이대로 ±6 dB 임계값을 쓰면 바뀌지 않은 곳에서 false alarm이 1,346개 나온다. 5 × 5 국소 평균의 비는 표준편차가 1.77 dB로 좁아져, 같은 임계값에서 false alarm이 87개로 줄고 바뀐 픽셀 650개 가운데 556개를 맞힌다. 남은 false alarm 87개 가운데 86개와 놓친 픽셀 94개는 모두 참 변화의 경계에서 2픽셀 안에 있다. 국소 평균이 경계 양쪽을 섞은 자리이다. 로그 비율이 speckle에 강건하다는 말은 평균을 낸 뒤의 이야기이다.

실제 영상에서도 원리는 같다. SAR는 밤낮과 날씨에 관계없이 관측할 수 있어 재난 상황의 변화 탐지에서 주요 수단이고, 아래는 Sentinel-1 시계열을 비교해 찾은 실제 침수 지역이다. 변화 탐지 알고리즘의 성능은 파란 마스크의 경계가 얼마나 정밀한지로 드러난다.

SAR 변화 탐지: 미국 Washington 주의 홍수(Sentinel-1, 2021) — Sentinel-1 SAR로 찾은 홍수 변화(미국 Washington 주, 2021년 11월). 파란 영역이 SAR 시계열 비교로 찾은 침수 지역이다. Contains modified Copernicus Sentinel data (2021), processed by ESA, CC BY-SA 3.0 IGO. 원본: ESA, Flooding in Washington state.

코히어런트 변화 탐지(CCD)

CCD는 같은 플랫폼으로 되풀이해 찍은 두 영상의 위상을 쓴다. InSAR처럼 두 영상의 복소 coherence를 계산한다.

\gamma = \frac{\langle s_{t_1} \cdot s_{t_2}^* \rangle}{\sqrt{\langle |s_{t_1}|^2 \rangle \cdot \langle |s_{t_2}|^2 \rangle}}, \quad |\gamma| \in [0, 1]

$|\gamma| \approx 1$ 이면 두 시점 사이 지표가 바뀌지 않은 정적 영역이고, $|\gamma| \approx 0$ 이면 지표가 바뀌었거나 시간이 지나며 상관이 사라진(temporal decorrelation) 영역이다. CCD는 강도 변화 없이 위상만 바뀌는 작은 지표 변화(토양 수분, 식생 성장, 지반 침하)도 찾는다. Sentinel-1처럼 같은 궤도를 12일 주기로 되풀이해 관측하는 위성에서는 coherence 맵을 그대로 변화 탐지에 쓴다.

방법	위상 사용	적용 조건	찾을 수 있는 변화
단순 차분	아니다	어떤 영상 쌍이든	강도 변화(건물 건설/철거)
로그 비율	아니다	어떤 영상 쌍이든	강도 변화(speckle에 강건)
coherence(CCD)	쓴다(SLC 필요)	같은 궤도를 되풀이하는 위성	작은 지표 변화, 지반 침하, 침수

딥러닝 기반 변화 탐지

Siamese CNN: $t_1$ , $t_2$ 영상을 가중치를 공유하는 신경망으로 각각 인코딩하고, 차분하거나 이어 붙인(concatenate) 특징 벡터에서 변화를 분류한다. 가중치를 공유하므로 두 시점의 영상이 같은 특징 공간으로 옮겨진다. 픽셀 단위나 패치 단위 라벨로 학습한다.
ChangeFormer: Transformer 기반의 Siamese 인코더로 먼 거리의 의존성과 다중 크기 특징을 합친다. 복잡한 도시 환경의 변화 탐지에 강하다.
비지도 학습: 라벨이 없으면 k-means 군집화나 변분 오토인코더(VAE)로 변화 후보를 뽑는다(19장).

공개 데이터셋으로는 SSDD(SAR 선박 탐지 benchmark, 영상 1,160장), HRSID(고해상도 SAR 선박 탐지, 영상 5,604장), MSTAR(지상 표적 분류, 여러 각도의 SAR; 19장), Sentinel-1 변화 탐지(Copernicus 위성 시계열, 무료 공개)가 있다.