대표 공개 데이터셋
다섯 데이터셋은 각각 무슨 문제를 풀려고 만들어졌고, 무엇을 담고 있는가?
CARRADA: 원시 차량 레이다를 장면 이해 benchmark로
| 항목 | 내용 |
|---|---|
| 논문 | A. Ouaknine et al., "CARRADA Dataset: Camera and Automotive Radar with Range-Angle-Doppler Annotations," ICPR 2021 |
| 저자, 연도 | Ouaknine, Newson, Rebut, Tupin, Pérez / 2020 preprint, 2021 학회 발표 |
| 논문 링크 | arXiv · DOI |
| 데이터셋, 저장소 | official repository · download page |
| 논문이 풀려는 문제 | 원시 차량 레이다를 탐지, semantic segmentation, 추적의 대상으로 만들기 |
CARRADA의 특징은 클래스 수에 있지 않다. 레이다는 날씨와 야간 조건에 강하고 상대 속도를 직접 잰다는 분명한 장점이 있지만, 실제 원시 레이다를 장면 이해 문제로 묶어 주는 공개 데이터셋과 주석(annotation) 과정이 부족했다. 이 논문은 그 부족에서 출발해, 동기화한 카메라와 거리-각도 맵, RD 맵(range-Doppler map)을 함께 공개하고 sparse point, bounding box, dense mask까지 제공하도록 benchmark를 설계했다. 주석은 카메라를 교사(teacher)로 삼아 만들었다.
CARRADA는 30 시퀀스, 12,666 프레임으로 이루어지고, 주석이 달린 프레임은 7,193개, 인스턴스는 78개이다. 클래스는 보행자, 자동차, 자전거이고, 캐나다의 시험 주행로에서 기록했다.
RadarScenes: 차량 레이다 point cloud를 점 단위 benchmark로
| 항목 | 내용 |
|---|---|
| 논문 | O. Schumann et al., "RadarScenes: A Real-World Radar Point Cloud Data Set for Automotive Applications," FUSION 2021 |
| 저자, 연도 | Schumann, Hahn, Scheiner, Weishaupt, Tilly, Dickmann, Wöhler / 2021 |
| 논문 링크 | arXiv · DOI |
| 데이터셋, 문서 | official site · structure · labeling · tools |
| 논문이 풀려는 문제 | 일반 차량 레이다 point cloud에서 점 단위 semantic 인식과 추적을 가능하게 하기 |
RadarScenes는 기존 공개 레이다 데이터셋이 너무 작거나, 회전 레이다 기반이거나, Doppler를 충분히 살리지 못한다는 문제를 겨냥한다. 그래서 일반 차량 레이다 4대, 오도메트리(odometry), 기록용 카메라, 점 단위 라벨, track_id를 함께 담았다. 카메라 영상은 기록용이고, 중심 자료는 장면 단위의 레이다 point cloud이다. 레이다 point cloud도 semantic 학습의 대상이 될 수 있다는 주장을 실제 archive 구조와 주석 규칙으로 보인 사례이다.
RadarScenes는 4시간 넘는 주행을 레이다 헤드 4개로 기록한 158 시퀀스이고, 학습 130 / 검증 28 시퀀스로 나뉜다. 내려받은 archive에는 움직이는 물체의 탐지점 3,992,370개와 정지 탐지점 114,996,066개가 있다.
MSTAR: SAR ATR에서 운용 조건의 변화를 시험하는 benchmark
| 항목 | 내용 |
|---|---|
| 대표 문헌 | E. R. Keydel et al., "MSTAR Extended Operating Conditions," SPIE 1996 / 공개 release benchmark 문서 |
| 문헌, 공개 release | EOC paper DOI · official public targets page |
| 논문이 풀려는 문제 | 분류 정확도 자체보다, 기하, aspect angle, 배경, 구성이 바뀔 때 SAR 자동 표적 인식(ATR)이 얼마나 버티는가 |
MSTAR를 "깨끗한 SAR 분류 데이터셋"으로 설명하면 반만 맞다. MSTAR는 원래 DARPA/AFRL의 모델 기반 SAR ATR 프로그램 안에서, 운용 조건(operating condition)이 달라지면 어떤 가정이 무너지는지 보려고 설계한 benchmark였다. 그래서 17° 학습 / 15° 테스트 분할은 영상을 얻는 기하를 일부러 바꾸어 보는 운용 조건 시험이다(SAR 영상은 17장). 같은 표적이라도 부각(depression angle)과 관측 조건이 바뀌면 chip의 모습이 꽤 달라지고, 그 차이는 좋은 공개 데이터셋이 주는 것 절의 MSTAR 그림에서 본다.
MSTAR는 X-band 9.6 GHz의 spotlight SAR 영상이고, 표준 benchmark 분할은 17° 학습 / 15° 테스트이다. 공개 release의 chip 크기는 고정되어 있지 않아, crop과 resize는 후속 연구가 정한다.
Sentinel-1 GRD: 데이터셋이 아니라 운영 관측 product
| 항목 | 내용 |
|---|---|
| 대표 문헌 | ESA, "Sentinel-1 User Handbook," 2013 |
| 문서, 공식 자료 | Sentinel-1 mission (SentiWiki) · data access & products |
| 설계 관점 | 전 세계를 되풀이해 관측하는 SAR 임무의 product 제공 |
Sentinel-1 GRD는 대부분의 공개 레이다 benchmark와 달리 원시 수집 자료가 아니라 운영 product이다. 그래서 연구자는 이 product 위에 무엇을 더 할지를 묻고, 실제 후속 논문도 홍수, 토양 수분, 작물 생육, 산사태 시점처럼 서로 다른 문제를 같은 GRD 위에서 푼다.
이 product는 C-band 5.405 GHz의 IW GRD로, 분해능 5 m × 20 m, 픽셀 간격 10 m, VV/VH 이중 편파이고, 같은 product 계열을 여러 문제에 다시 쓴다. 운영용 강도(intensity) 층은 이미 잘 정리되어 있지만, 보정(calibration), 지형 보정(terrain correction), 필터링은 여전히 연구자가 정해야 한다.
Soli: 미세 동작을 위한 움직임 benchmark
| 항목 | 내용 |
|---|---|
| 논문 | S. Wang et al., "Interacting with Soli: Exploring Fine-Grained Dynamic Gesture Recognition in the Radio-Frequency Spectrum," UIST 2016 |
| 저자, 연도 | Wang, Song, Lien, Poupyrev, Hilliges / 2016 |
| 논문, 저장소 | paper · deep-soli repo |
| 논문이 풀려는 문제 | 카메라의 시야와 가림 문제 없이 가까운 거리의 미세 손동작을 거리와 속도의 움직임으로 읽기 |
Soli는 모바일과 웨어러블 인터랙션을 위한 미세 손동작(micro-gesture) 움직임 benchmark이다. 공개판은 원시 ADC가 아니라 배경 제거와 정규화를 거친 HDF5 시퀀스로 배포된다. 이 데이터셋의 기여는 전처리한 표현 위에서 사용자와 세션에 대한 일반화를 시험하는 표현 benchmark를 만든 데 있다.
공개 시퀀스와 손동작 표는 deep-soli 페이지에서 볼 수 있다. 이 데이터셋의 재사용 조건은 밝혀져 있지 않다.
Soli 데이터는 60 GHz 근거리 레이다로 기록했고, 손동작 11종, 피험자 10명, 세션 10회로 이루어진다. 공개 샘플은 HDF5 시퀀스이고 32×32×N×4 구조로 복원된다.