스스로 점검하기
보고서를 마무리하기 전에 무엇을 스스로 확인하는가?
아래 네 갈래의 질문에 그렇다고 답할 수 있으면 보고서는 다른 사람에게 쓸모가 있다. 답하기 어려운 항목이 있으면 그 절을 다시 본다.
방법이 분명한가
- 다른 사람이 이 보고서만 보고 같은 실험을 짤 수 있는가?
- 모델 구조, 데이터 분할, 하이퍼파라미터, seed를 표나 그림으로 한곳에 정리했는가?
실험이 공정한가
- 기준선을 내 환경에서 재현했고, 그 수치와 교재 수치의 차이를 적었는가? 교재의 수치만 인용하지 않았는가?
- 변형 실험마다 독립 변수를 하나만 움직였는가? seed와 분할을 기준선과 같게 두었는가?
- 임계값과 구성을 검증 세트에서 고르고, 테스트 세트는 마지막에 한 번만 썼는가?
- 여유가 있다면: ablation을 둘 넘게 했는가? 다른 SNR, aspect angle, 시점에서 일반화의 한계를 수치로 쟀는가? 외부 공개 데이터셋을 출처와 라이선스를 밝혀 썼는가?
결과를 해석했는가
- 이 결과가 왜 나왔는지 설명하는 문단이 있는가? 수치를 늘어놓는 데서 멈추지 않았는가?
- 실패 유형을 하나 넘게 보이고 원인을 짚었는가? 한계를 적었는가?
코드가 재현되는가
- 코드 저장소가 있고, README의 명령 한 줄로 결과가 나오는가?
- seed를 고정했고, requirements와 학습 기록이 저장소에 있는가?
확인은 세 단계로 한다. 먼저 Method 절만 읽고 동료가 같은 실험을 짤 수 있는지 물어본다. 다음으로 Results 표의 한 줄을 가리고 본문에서 그 수치를 다시 찾을 수 있는지 확인한다. 마지막으로 코드 저장소를 새 디렉터리에 clone해 README의 명령 한 줄로 결과가 나오는지 직접 확인한다.
마무리 직전에 다섯 가지를 더 본다. 표지에 이름, 고른 사례, 제목이 모두 있는가. 모든 그림이 PDF로 바꾼 뒤에도 잘리지 않고 캡션과 함께 보이는가. 비교 표의 행 사이에서 평가 분할과 seed가 일관되는가. 코드 저장소 README의 실행 명령을 새 셸에서 한 번 더 실행해 동작하는가. 참고문헌이 5편 이상이고 본문에서 모두 인용되는가.
한 사례를 끝까지 끌고 간 경험은 후속 연구 주제, 졸업 연구, 논문 초안으로 그대로 이어진다. 고른 사례에서 가장 흥미로웠던 발견 하나를 결론에 분명히 적어 둔다.
강의 노트