제거 대신 우회: 시각-언어 모델을 위한 복구 가능한 시각 토큰 라우팅

Reroute, Don't Remove: Recoverable Visual Token Routing for Vision-Language Models

💡 시각-언어 모델의 처리 속도를 높이기 위해 불필요한 시각 토큰을 완전히 제거하는 대신, 나중에 다시 활용할 수 있도록 잠시 우회시키는 새로운 방법을 제안합니다. 이 방법은 모델의 성능 저하 없이 효율성을 개선합니다.

핵심 요약

무엇을 · 시각-언어 모델(VLM)은 이미지를 수많은 시각 토큰으로 변환하는데, 이 과정에서 계산 비용이 많이 듭니다. 기존의 토큰 축소 방식은 중요도가 낮은 토큰을 완전히 제거했지만, 이 논문은 'Reroute'라는 새로운 접근 방식을 제안합니다.
어떻게 · Reroute는 중요도가 낮은 시각 토큰을 영구적으로 제거하는 대신, 다음 단계에서 다시 고려될 수 있도록 잠시 우회시킵니다. 즉, 특정 단계에서 사용되지 않는 토큰은 해당 단계를 건너뛰고 다음 라우팅 결정 시 후보 풀에 다시 포함됩니다. 이는 기존의 토큰 중요도 평가 규칙과 단계별 스케줄을 재활용합니다.
결과 · 이 방법은 기존의 토큰 축소 방식(FastV, PDrop, Nüwa 등)과 결합했을 때, 토큰을 대폭 줄인 상황에서도 '접지(grounding)' 성능을 향상시키면서 전반적인 시각 질의응답(VQA) 성능을 유지합니다. 이는 시각 토큰 축소를 단순히 제거하는 것이 아니라 복구 가능한 라우팅으로 보아야 함을 시사합니다.

기존의 시각 토큰 제거 방식은 특정 단계에서 중요하지 않다고 판단된 토큰이 나중에 중요해질 수 있다는 문제를 안고 있었습니다. 이 논문은 이러한 '비가역적' 제거의 단점을 극복하고, 모델의 효율성을 높이면서도 성능 저하를 방지할 수 있는 새로운 패러다임을 제시합니다.

시각-언어 모델의 연산 비용과 메모리 사용량을 줄여, 더 빠르고 효율적인 모델을 개발할 수 있게 합니다. 이는 자율주행, 이미지 검색, 시각 보조 시스템 등 다양한 AI 응용 분야에서 모델 배포 및 활용을 용이하게 할 수 있습니다.

초록에는 Reroute 자체의 구체적인 한계점이 명시되어 있지 않습니다. 다만, 기존의 토큰 축소 방법론을 보완하는 플러그인 형태로 제시되었으므로, 기반이 되는 축소 방법론의 한계는 여전히 존재할 수 있습니다.

#시각-언어 모델#토큰 라우팅#효율성 개선

arXiv 원문 보기 → Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu · 2026-06-10 · arXiv:2606.12412

이 요약이 유용했나요?

※ 이 요약은 AI 보조로 생성하고 사람이 검수했습니다. 난이도·실생활 영향·톤은 본 사이트의 편집 의견이며, 정확한 내용은 반드시 원문(arXiv)을 확인하세요. 번역은 AI 기반으로 오역 가능성이 있습니다. 출처: arXiv (2606.12412).