데이터셋과 라벨
레이다 AI의 성능은 모델보다 데이터가 먼저 정한다. 대표 공개 데이터셋 다섯 개를 논문과 실제 공개 자료로 비교하면, 좋은 데이터셋이 무엇을 제공해야 하는지 알 수 있다. 데이터셋이 정한 분할, 클래스 불균형, 라벨 예산은 그대로 학습 전략이 된다. 라벨이 부족하거나 비싸면 라벨 없이 구조를 배우거나, 데이터에서 학습 신호를 만들거나, 꼭 필요한 샘플에만 라벨을 붙인다.
공개 데이터셋 논문부터 읽는 이유
공개 데이터셋을 쓰기 전에 무엇을 읽어야 하는가?
공개 데이터셋을 볼 때 가장 흔한 실수는 텐서 모양(shape), 클래스 수, 샘플 수만 적어 두고 끝내는 것이다. 실제 연구에서는 그 데이터셋이 어떤 문제를 풀려고 설계되었는지, 저자가 일반화(generalization)를 어떤 축으로 확보하려 했는지, 어떤 전처리와 표현(representation)을 이미 제공하는지, 후속 논문이 실제로 무엇을 다시 썼는지까지 알아야 한다.
| 논문을 읽을 때 먼저 묻는 질문 | 왜 중요한가 |
|---|---|
| 무슨 문제를 풀려고 설계했는가? | 텐서 모양이나 클래스 수보다 benchmark의 방향을 먼저 정한다. |
| 다양성과 일반화를 어떤 축으로 확보했는가? | 시퀀스 수만으로는 일반화를 설명할 수 없다. |
| 어떤 전처리와 표현을 이미 제공하는가? | 원시 데이터(raw data) benchmark인지, 이미 가공한 출발점인지 가려야 한다. |
| 후속 연구는 실제로 무엇을 다시 썼는가? | 논문이 주장한 쓰임새와 연구자들이 실제로 쓰는 방식이 다를 수 있다. |
| 어디까지 믿을 수 있고, 어디서부터 조심해야 하는가? | 한계와 제한 조건을 모르면 데이터셋 카드도 실험도 흔들린다. |
강의 노트