밀집된 지도와 희소한 업데이트: 온-정책 증류의 희소성과 기하학적 특성 연구

핵심 요약

• 무엇을 · 이 연구는 온-정책 증류(OPD)라는 학습 후 방법이 모델의 파라미터를 어떻게 변화시키는지 분석했습니다.
• 어떻게 · 다양한 언어 및 비전-언어 모델 쌍과 사용 사례를 대상으로 OPD 업데이트의 희소성(어떤 파라미터가 업데이트되는지)과 기하학적 특성(업데이트의 방향과 크기)을 조사했습니다.
• 결과 · OPD 업데이트는 작고 특정 좌표에 집중된 희소한 형태를 보이며, 주로 FFN(Feed-Forward Network) 층에 많이 분포합니다. 이러한 희소한 구조 덕분에 발견된 서브네트워크만 훈련해도 전체 OPD와 거의 동일한 성능을 얻을 수 있습니다. 또한, 업데이트는 수치적으로는 완전 랭크이지만 스펙트럼적으로는 집중되어 있으며, 기존 가중치의 주요 특이 부분 공간과는 다른 방향으로, 특히 가중치가 0에 가까운 좌표에 불균형하게 영향을 미칩니다.

왜 중요한가

OPD는 온-정책 학생 궤적과 밀집된 교사 지도를 결합하여 모델 성능을 향상시키는 유망한 방법이지만, 그 작동 방식은 불분명했습니다. 이 연구는 OPD가 모델 파라미터를 어떻게 수정하는지에 대한 근본적인 이해를 제공합니다.

실생활·산업 영향

OPD 업데이트의 희소한 특성을 활용하면 전체 모델을 훈련하지 않고도 효과적인 서브네트워크만 훈련하여 계산 비용을 줄일 수 있습니다. 이는 대규모 모델의 효율적인 미세 조정 및 배포에 기여할 수 있습니다.

한계·주의

희소성을 유도하는 SGD 옵티마이저가 AdamW보다 성능이 떨어진다는 점은, 밀집된 교사 지도가 AdamW의 적응형 스케일링이 여전히 유용한 이질적인 좌표별 기울기 스케일을 보존하기 때문일 수 있습니다. 이는 OPD 적용 시 옵티마이저 선택에 대한 추가적인 고려가 필요함을 시사합니다.