정리·개념 확인·참고 자료 · 23장 사례: SAR despeckling

정리

SAR 영상은 speckle, 복소 데이터, 기하 왜곡, 다중 편파, 분해능 이방성에서 광학 영상과 다르다. 입력은 SLC, 진폭, 다중 편파 가운데 문제에 맞게 고른다.
speckle은 곱셈 잡음이고 로그 변환이 덧셈 잡음으로 바꾼다. 입력은 dB로 바꾸어 영상마다 정규화하고, 90° 회전 같은 증강은 조심한다.
SAR 객체 탐지는 CFAR에서 CNN으로 발전했다. 작은 표적, 다중 크기, 방향 민감성에 앵커 재설계, FPN, 회전 bounding box로 대응한다.
변화 탐지는 정합 뒤에 로그 비율 같은 비코히어런트 방법, coherence를 쓰는 CCD, Siamese CNN으로 한다.
Lee 필터는 국소 변동계수로 평활화의 세기를 바꾸고, Refined Lee는 경계 방향을 따라 평균한다. SAR ATR은 탐지, 식별, 분류의 세 단계이다.
깨끗한 SAR가 없으므로 이 사례는 같은 관측의 강도 4 × 4 픽셀 평균(SLC)이나 db_filtered(GRD)를 pseudo-clean 정답으로 쓴다. 평균은 강도에서 낸다. dB에서 평균하면 약 −2.5 dB 치우친다.
DnCNN-SAR는 로그 speckle 성분을 잔차로 예측해 입력에서 뺀다. Charbonnier와 SSIM 손실(0.8 : 0.2)로 이상치에 강건하고 구조를 지킨다.
테스트 세트에서 DnCNN-SAR는 PSNR 31.10 dB, SSIM 0.794로 고전 필터보다 높고, SLC 기준은 31.00 dB이다. 이 점수는 pseudo-clean 정답에 대한 것이며, 정답과 입력 분포가 바뀌면 점수의 뜻도 바뀐다.

개념 확인

single-look speckle의 강도 변동계수는 1이다. 독립한 16픽셀(4 × 4 픽셀 평균)의 강도를 평균하면 변동계수는 얼마가 되는가?

풀이

답 0.25

힌트 $L$ -look 영상의 변동계수는 $1/\sqrt{L}$ 이다.

$1/\sqrt{16}=0.25$ 이다. 대신 이웃 픽셀 16개를 함께 평균하므로 해상도가 가로세로 4배씩 거칠어진다.

single-look speckle $s$ (지수 분포, 평균 1)를 dB로 바꾼 $10\log_{10}s$ 의 평균은 몇 dB인가? Euler 상수는 $\gamma=0.5772$ 이다.

풀이

답 -2.51 dB

힌트 지수 분포를 따르는 $s$ 에 대해 $\mathbb{E}[\ln s]=-\gamma$ 이다.

$\mathbb{E}[10\log_{10}s]=(10/\ln10)\,\mathbb{E}[\ln s]=-4.343\times0.5772=-2.51$ dB이다. dB 영상을 그대로 평균하면 반사율보다 2.51 dB 낮게 나온다. 그래서 multi-look 평균은 강도에서 한다.

DnCNN-SAR의 테스트 PSNR은 31.10 dB, median 필터는 26.34 dB이다. DnCNN-SAR가 몇 dB 높은가?

풀이

답 4.76 dB

힌트 두 PSNR의 차이이다.

$31.10-26.34=4.76$ dB이다. 같은 pseudo-clean 정답에 대한 비교이므로, 정답이 바뀌면 이 차이도 바뀔 수 있다.

Gaussian blur 영상을 정답으로 학습한 모델이 자기 정답에 대해 높은 PSNR을 냈다. 이 점수에 대한 해석으로 옳은 것은?

(가) PSNR이 높으므로 speckle을 지우면서 경계도 잘 지킨다.
(나) Gaussian blur가 진짜 반사율에 가장 가까운 정답이다.
(다) 흐린 정답을 따라 흐리게 만드는 능력을 잰 것이라, 경계 보존이 좋다는 뜻이 아니다.

풀이

답 (다) 흐린 정답을 따라 흐리게 만드는 능력을 잰 것이라, 경계 보존이 좋다는 뜻이 아니다.

(가) PSNR은 정한 참조와의 차이만 잰다. 참조가 흐리면 흐린 출력이 높은 점수를 받는다.
(나) SAR에는 speckle 없는 진짜 정답이 없다. Gaussian blur는 경계까지 뭉갠다.

지표는 정답으로 정한 참조만큼만 뜻이 있다. 점수를 비교하기 전에 무엇을 정답으로 두었는지를 먼저 확인한다.

참고 자료

radar-ai-projects, SAR speckle 제거 사례: 예제 코드, 결과 요약.
K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, "Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising," IEEE Trans. Image Process., vol. 26, no. 7, pp. 3142–3155, 2017, doi: 10.1109/TIP.2017.2662206.
J.-S. Lee, "Digital image enhancement and noise filtering by use of local statistics," IEEE Trans. Pattern Anal. Mach. Intell., vol. PAMI-2, no. 2, pp. 165–168, 1980, doi: 10.1109/TPAMI.1980.4766994.
V. S. Frost, J. A. Stiles, K. S. Shanmugan, and J. C. Holtzman, "A model for radar images and its application to adaptive digital filtering of multiplicative noise," IEEE Trans. Pattern Anal. Mach. Intell., vol. PAMI-4, no. 2, pp. 157–166, 1982, doi: 10.1109/TPAMI.1982.4767223.
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Trans. Image Process., vol. 13, no. 4, pp. 600–612, 2004, doi: 10.1109/TIP.2003.819861.
ESA, Sentinel-1 mission overview; Copernicus Data Space Ecosystem, Sentinel-1 data.
그림 출처: 홍수 변화 탐지는 contains modified Copernicus Sentinel data (2021), processed by ESA, CC BY-SA 3.0 IGO(원본). pseudo-clean, 잔차, 시각 비교, 정답 선택 그림은 radar-ai-projects의 SAR speckle 제거 사례 실행 결과이다.

정리

개념 확인

참고 자료

함께 읽을 자료