인터리브싱커: 에이전트 기반의 교차 생성 강화

핵심 요약

• 무엇을 · 기존 이미지 생성기는 단일 이미지 생성이나 편집에는 뛰어나지만, 텍스트와 이미지를 번갈아 생성하는 '교차 생성' 능력은 부족합니다. 이 논문은 이러한 한계를 극복하기 위해 '인터리브싱커'라는 다중 에이전트 파이프라인을 제안합니다.
• 어떻게 · 인터리브싱커는 두 가지 주요 에이전트로 구성됩니다. 첫째, '계획 에이전트'는 이미지-텍스트 입력 시퀀스를 구성하고 각 단계에서 이미지 생성기에 필요한 작업을 지시합니다. 둘째, '비평 에이전트'는 생성된 이미지를 평가하여 계획된 지침에서 벗어난 부분을 식별하고, 재생성을 위해 지침을 개선합니다. 이 파이프라인을 구현하기 위해 Interleave-Planner-SFT-80k와 Interleave-Critic-SFT-112k를 구축하고, GRPO를 사용하여 단계별 지침 수정 능력을 강화하는 Interleave-Critic-RL-13k를 개발했습니다. 전체 생성 궤적을 최적화하는 것이 비현실적이므로, 정확도 보상과 단계별 보상을 제안하여 단일 단계 RL이 전체 궤적을 효과적으로 안내하도록 했습니다.
• 결과 · 인터리브싱커는 다양한 이미지 생성기의 성능을 향상시켰습니다. 교차 생성 벤치마크에서 Nano Banana 및 GPT-5와 비슷한 성능을 달성했으며, 추론 기반 벤치마크에서도 기본 모델의 성능을 크게 향상시켰습니다. 예를 들어, 4단계 FLUX.2-klein에서 WISE 및 RISE에서 상당한 개선을 보였습니다.

왜 중요한가

이 연구는 기존 이미지 생성기의 한계를 극복하고, 텍스트와 이미지를 유기적으로 결합하여 복잡한 시각적 내러티브, 지침 기반 작업, 그리고 로봇 조작과 같은 실제 응용 분야에서 중요한 발전을 이룰 수 있는 가능성을 제시합니다.

실생활·산업 영향

시각적 스토리텔링, 단계별 지침 생성, 로봇이 환경과 상호작용하는 방식 등 다양한 분야에서 활용될 수 있습니다. 예를 들어, 사용자가 텍스트로 스토리를 입력하면 그에 맞는 이미지를 순차적으로 생성하여 시각적 소설을 만들거나, 복잡한 조립 과정을 단계별 텍스트와 이미지로 안내하는 시스템을 개발할 수 있습니다.

한계·주의

초록에는 명시적인 한계가 언급되어 있지 않지만, '단일 교차 생성 궤적이 25개 이상의 생성기 호출을 포함할 수 있어 전체 궤적을 최적화하는 것이 계산적으로 비현실적'이라는 언급을 통해 복잡한 궤적 최적화의 어려움이 있음을 유추할 수 있습니다.