이제 일관된 스타일로 그릴 수 있습니다 - StyleAligned

오늘은 구글리서치에서 발표한 신기술 'StyleAligned'에 대해 소개하려고 합니다. 이 기술은 텍스트를 바탕으로 이미지를 만드는 텍스트-to-이미지 모델에서 스타일의 일관성을 유지하는 문제에 초점을 맞추고 있습니다.

 

논문 링크: Style Aligned Image Generation via Shared Attention

코드 링크: https://github.com/google/style-aligned

 

 

스타일 일관성의 도전

텍스트-to-이미지 모델들은 일반적으로 텍스트 프롬프트를 통해 시각적으로 매력적인 이미지를 만들어냅니다. 그러나 이들 모델이 만든 이미지 사이의 스타일 일관성을 유지하기가 어렵다는 문제점이 있었습니다. 기존의 방식은 콘텐츠와 스타일을 분리하는 복잡한 수작업이나 모델 파인튜닝을 필요로 했습니다.

 

기존의 텍스트-to-이미지 모델은 그릴 때마다 스타일이 변하는 문제가 있습니다.

 

 

StyelAligned의 혁신

구글 리서치가 제안한 'StyleAligned'는 이러한 문제를 해결하기 위해 '어텐션 레이어 공유'라는 새로운 개념을 도입했습니다. 이 방법은 디퓨전 과정에서 AdaIN 조절을 통해 어텐션 레이어를 공유함으로써 스타일의 일관성과 시각적 연결성을 성공적으로 구축합니다.

 

가장 왼쪽 이미지와 셀프 어텐션 레이어를 공유함으로써 스타일 일관성을 맞출 수 있습니다.

 

 

효과와 가능성

'StyleAligned'의 주요 장점은 다양한 스타일과 텍스트 프롬프트에 걸쳐 고품질이면서 스타일이 일관된 이미지를 만들 수 있다는 점입니다. 이는 창의적인 분야와 실용적인 응용에서 큰 도움이 될 수 있습니다. 또한, 제공된 설명과 참조 스타일을 충실히 따르면서도 인상적인 합성 품질을 유지한다는 점에서 이 기술의 능력이 입증되었습니다.

 

Style Aligned 기술을 통해 스타일 일관성이 맞춰진 결과입니다.

 

 

미래의 전망

향후 'StyleAligned'는 생성된 이미지들 사이의 형태와 외관의 유사성을 더욱 잘 제어할 수 있도록 하는 확장성과 적응성을 탐구할 예정이라고 합니다. 또한, 현재의 디퓨전을 이용한 이미지 생성의 한계를 극복하고 스타일 일관성 있는 데이터셋을 구축하여 스타일 조건부 텍스트-이미지 모델을 훈련시키는 연구도 진행될 것이라고 하네요.

 

 

이처럼 'StyleAligned'는 텍스트-to-이미지 모델에서 스타일 일관성을 달성하는 데 중요한 진전을 의미합니다. 여러분은 이 기술 발전에 대해 어떻게 생각하시나요?

참고: 스테이블 디퓨전 1.x 버전과 SDXL에서 동작하는 코드가 Github에 올라가있습니다.

 

 

스타일이 유지된 상태로 다양한 그림을 그릴 수 있습니다.

 

가장 왼쪽에 있는 이미지의 스타일을 참고하여 오른쪽의 이미지를 만들 수 있습니다.

 

구글 리서치에서 정말 다양한 스타일을 실험했습니다. 👍