작업 불문 연속 학습을 위한 희소 부분 공간-전문가 공유

핵심 요약

• 무엇을 · 대규모 언어 모델(LLM)이 새로운 작업을 학습할 때 기존 지식을 잊어버리는 '가소성-안정성 딜레마'를 해결하기 위한 새로운 연속 학습 프레임워크인 SETA(Mixture of Sparse Experts for Task Agnostic Continual Learning)를 제안합니다.
• 어떻게 · SETA는 모델의 파라미터를 작업별 전문가 모듈과 공유 전문가 모듈로 분리합니다. 작업별 전문가는 특정 작업 패턴을 학습하고, 공유 전문가는 여러 작업에 공통된 특징을 학습합니다. 이 구조는 적응형 탄성 고정(adaptive elastic anchoring)과 라우팅 인식 정규화(routing-aware regularization)를 통해 유지되며, 추론 시에는 통합된 게이팅 네트워크가 적절한 전문가 조합을 자동으로 선택합니다.
• 결과 · 다양한 도메인별 벤치마크 실험에서 SETA는 기존 연속 학습 방법들과 비교하여 경쟁적이거나 우수한 전반적인 성능을 보였습니다. 특히 초기 작업 지식의 유지율이 높았고, LLaMA-2 7B 및 Qwen3-4B 모델에서 역방향 전이(backward transfer)가 개선되었습니다.

왜 중요한가

현재 LLM은 새로운 정보를 학습할 때 기존 정보를 쉽게 잊어버리는 치명적인 망각 문제가 있습니다. 이 연구는 이러한 문제를 해결하여 LLM이 지속적으로 학습하고 발전할 수 있는 기반을 마련합니다.

실생활·산업 영향

이 기술이 상용화되면, LLM은 특정 분야의 최신 정보를 빠르게 학습하면서도 기존의 방대한 지식을 잊지 않고 유지할 수 있게 됩니다. 이는 의료, 법률, 금융 등 전문 분야에서 LLM의 활용도를 크게 높일 수 있습니다.

한계·주의

초록에는 명시적인 한계점이 언급되어 있지 않습니다. 다만, '경쟁적이거나 우수한 성능'이라는 표현은 모든 면에서 압도적인 우위를 점하지는 않을 수 있음을 시사합니다.