Score: 13.0 | Matched keywords: alignment, benchmark, diffusion, foundation model, transformer
This paper tackles The core of RefAlign is a reference alignment loss that pulls the reference features and VFM features of the same subject closer to improve identity consistency, while pushing apart the corresponding features of different subjects to enhance semantic discriminability. Reference-to-video (R2 V) generation is a controllable video synthesis paradigm that constrains the generation process using both text prompts and reference images, enabling applications such as personalized advertising and virtual try-on. In practice, existing R2 V methods typically introduce additional high-level semantic or cross-modal features alongside the VAE latent representation of the reference image and jointly feed them into the diffusion Transformer (DiT).
The core proposal is In this paper, we propose RefAlign, a representation alignment framework that explicitly aligns DiT reference-branch features to the semantic space of a visual foundation model (VFM). In practice, existing R2 V methods typically introduce additional high-level semantic or cross-modal features alongside the VAE latent representation of the reference image and jointly feed them into the diffusion Transformer (DiT). Extensive experiments on the OpenS2 V-Eval benchmark demonstrate that RefAlign outperforms current state-ofthe-art methods in TotalScore, validating the effectiveness of explicit reference alignment for R2 V tasks. The core of RefAlign is a reference alignment loss that pulls the reference features and VFM features of the same subject closer to improve identity consistency, while pushing apart the corresponding features of different subjects to enhance semantic discriminability.
The empirical case is built around Extensive experiments on the OpenS2 V-Eval benchmark demonstrate that RefAlign outperforms current state-ofthe-art methods in TotalScore, validating the effectiveness of explicit reference alignment for R2 V tasks. Extensive experiments on the OpenS2 V-Eval benchmark demonstrate that RefAlign outperforms current state-ofthe-art methods in TotalScore, validating the effectiveness of explicit reference alignment for R2 V tasks. This simple yet effective strategy is applied only during training, incurring no inference-time overhead, and achieves a better balance between text controllability and reference fidelity. The core of RefAlign is a reference alignment loss that pulls the reference features and VFM features of the same subject closer to improve identity consistency, while pushing apart the corresponding features of different subjects to enhance semantic discriminability.
The central reported finding is Extensive experiments on the OpenS2 V-Eval benchmark demonstrate that RefAlign outperforms current state-ofthe-art methods in TotalScore, validating the effectiveness of explicit reference alignment for R2 V tasks. This simple yet effective strategy is applied only during training, incurring no inference-time overhead, and achieves a better balance between text controllability and reference fidelity. The core of RefAlign is a reference alignment loss that pulls the reference features and VFM features of the same subject closer to improve identity consistency, while pushing apart the corresponding features of different subjects to enhance semantic discriminability.
Overall, the paper is most convincing where its proposed method is directly supported by the reported comparisons, but the scope of the claim should still be read in light of the evaluation setup and stated limitations.
이 논문에서는 RefAlign의 핵심을 다룹니다. 동일한 주제의 참조 특징과 VFM 특징을 더 가깝게 당겨 ID 일관성을 향상시키는 동시에 다른 주제의 해당 특징을 분리하여 의미적 식별성을 향상시키는 참조 얼라인먼트 손실입니다. R2 V(Reference-to-Video) 생성은 텍스트 프롬프트와 참조 이미지를 모두 사용하여 생성 프로세스를 제한하는 제어 가능한 비디오 합성 패러다임으로, 개인화된 광고 및 가상 체험과 같은 애플리케이션을 가능하게 합니다. 실제로 기존 R2 V 방법은 일반적으로 참조 이미지의 VAE 잠재 표현과 함께 추가적인 상위 수준 의미 또는 교차 모달 기능을 도입하고 이를 DiT(확산 변환기)에 함께 공급합니다. 핵심 제안은 다음과 같습니다. 본 논문에서는 DiT 참조 분기 기능을 VFM(Visual Foundation Model)의 의미 공간에 명시적으로 얼라인먼트하는 표현 얼라인먼트 프레임워크인 RefAlign을 제안합니다. 실제로 기존 R2 V 방법은 일반적으로 참조 이미지의 VAE 잠재 표현과 함께 추가적인 상위 수준 의미 또는 교차 모달 기능을 도입하고 이를 DiT(확산 변환기)에 함께 공급합니다. OpenS2 V-Eval 벤치마크에 대한 광범위한 실험에서는 RefAlign이 TotalScore에서 현재의 최첨단 방법보다 성능이 우수하여 R2 V 작업에 대한 명시적 참조 얼라인먼트의 효율성을 검증하는 것으로 나타났습니다. RefAlign의 핵심은 동일 주제의 참조 특징과 VFM 특징을 더 가깝게 끌어 ID 일관성을 향상시키는 동시에 다른 주제의 해당 특징을 분리하여 의미적 식별성을 향상시키는 참조 얼라인먼트 손실입니다. 경험적 사례는 OpenS2 V-Eval 벤치마크에 대한 광범위한 실험을 통해 RefAlign이 TotalScore에서 현재의 최첨단 방법보다 성능이 뛰어나다는 것을 입증하여 R2 V 작업에 대한 명시적 참조 얼라인먼트의 효율성을 검증합니다. OpenS2 V-Eval 벤치마크에 대한 광범위한 실험에서는 RefAlign이 TotalScore에서 현재의 최첨단 방법보다 성능이 우수하여 R2 V 작업에 대한 명시적 참조 얼라인먼트의 효율성을 검증하는 것으로 나타났습니다. 이 간단하면서도 효과적인 전략은 훈련 중에만 적용되므로 추론 시간 오버헤드가 발생하지 않으며 텍스트 제어 가능성과 참조 충실도 간의 균형이 더 잘 이루어집니다. RefAlign의 핵심은 동일 주제의 참조 특징과 VFM 특징을 더 가깝게 끌어 ID 일관성을 향상시키는 동시에 다른 주제의 해당 특징을 분리하여 의미적 식별성을 향상시키는 참조 얼라인먼트 손실입니다. 보고된 핵심 결과는 OpenS2 V-Eval 벤치마크에 대한 광범위한 실험을 통해 RefAlign이 TotalScore에서 현재의 최첨단 방법보다 성능이 뛰어나 R2 V 작업에 대한 명시적 참조 얼라인먼트의 효율성을 검증한다는 것입니다. 이 간단하면서도 효과적인 전략은 훈련 중에만 적용되므로 추론 시간 오버헤드가 발생하지 않으며 텍스트 제어 가능성과 참조 충실도 간의 균형이 더 잘 이루어집니다. RefAlign의 핵심은 동일 대상의 참조 특징과 VFM 특징을 더 가깝게 끌어 동일성을 향상시키는 참조 얼라인먼트 손실입니다. 일관성을 유지하면서 서로 다른 주제의 해당 특징을 분리하여 의미적 식별성을 향상시킵니다. 전반적으로, 이 논문은 제안된 방법이 보고된 비교에 의해 직접적으로 뒷받침된다는 점에서 가장 설득력이 있지만, 청구 범위는 평가 설정 및 명시된 제한 사항을 고려하여 읽어야 합니다.