하이퍼스펙트럼 작물 데이터에서 자기지도학습 정확도 50% 수준——뭐가 문제일까?

배추의 질소 결핍을 감지하기 위해 하이퍼스펙트럼 이미지(인간의 눈으로 볼 수 없는 빛까지 포착하는 카메라)를 사용하고 있습니다. 건강한 상태, 경미한 질소 스트레스, 심각한 질소 스트레스 3가지 클래스를 분류해야 합니다. 자기지도학습(BYOL, MAE, VICReg)으로 먼저 라벨 없는 데이터에서 특징을 학습한 후 분류기를 미세조정하려고 했는데, 정확도가 50% 수준에서 멈춰있습니다. 데이터 증강, 여러 자기지도학습 방법 시도, 적절한 미세조정 등 일반적인 방법들은 이미 시도했습니다. 문제의 원인은 여러 가지가 있을 수 있습니다: 하이퍼스펙트럼 데이터의 특성이 자기지도학습 방법의 설계 가정과 크게 다를 수 있고, 스펙트럼 데이터에 특화된 증강 기법이 필요할 수 있으며, 사전학습 설정이 작물 스트레스의 핵심 특징을 제대로 포착하지 못할 수 있습니다. 지도학습 기준선과 비교해보고, 데이터 증강이 실제로 도움이 되는지 검증해보시기를 권장합니다.