토큰은 군(群) 원소: 행렬 리 군(Lie Group)에 대한 리 대수 어텐션

핵심 요약

• 무엇을 · 이 연구는 어텐션 메커니즘의 토큰을 행렬 리 군의 원소로 정의하는 '리 대수 어텐션'이라는 새로운 접근 방식을 제안합니다. 기존의 특징 벡터 기반 토큰과 달리, 토큰 자체가 순수한 기하학적 변환(예: 회전, 이동)을 나타냅니다.
• 어떻게 · 토큰이 리 군 원소($g_i$)이므로, 두 토큰 간의 상대적 관계는 $g_i^{-1}g_j$와 같이 자연스럽게 정의됩니다. 어텐션 점수는 이 상대적 관계의 리 대수 노름(norm)을 기반으로 계산되며, 이는 학습된 커널 대신 폐쇄형(closed-form) 대수 노름을 사용합니다. 이를 통해 복잡한 표현 이론 없이도 동변성(equivariance)이 자동으로 보장됩니다.
• 결과 · SE(2), SO(3), Aff(2) 군에 대한 세 가지 시퀀스 완성 실험에서, 제안된 폐쇄형 점수 계산 방식은 동일한 불변량(invariant)을 사용하는 학습된 MLP 커널과 유사하거나 더 나은 성능을 보였으며, 특히 SE(2)에서는 MLP 커널보다 50~80배 적은 파라미터를 사용했습니다. 기존 벡터 토큰 방식은 불변성을 크게 훼손했습니다.

왜 중요한가

기존 어텐션 모델은 복잡한 기하학적 변환(예: 스케일 및 전단 변환을 포함하는 아핀 군)을 다루는 데 한계가 있었습니다. 이 연구는 토큰을 리 군 원소로 직접 사용하여 이러한 한계를 극복하고, 더 넓은 범위의 기하학적 데이터를 효율적으로 처리할 수 있는 길을 엽니다.

실생활·산업 영향

로봇 공학, 컴퓨터 비전, 그래픽스 등 기하학적 변환이 중요한 분야에서 인공지능 모델의 성능과 효율성을 크게 향상시킬 수 있습니다. 예를 들어, 로봇의 자세 추정이나 3D 객체 인식과 같은 작업에서 더 정확하고 견고한 모델을 개발하는 데 기여할 수 있습니다.

한계·주의

초록에는 명시적인 한계가 언급되어 있지 않지만, 이 방법은 선택된 로그 맵(logarithm chart)이 상대적 자세를 포함하는 모든 행렬 리 군에 적용될 수 있다고 명시되어 있습니다. 이는 특정 리 군이나 로그 맵의 선택에 따라 적용 가능성이 달라질 수 있음을 암시합니다.