AI 새소식

누구나 틱톡커가 될 수 있습니다 - Animate Anyone

에반대 2023. 12. 2. 14:37

오늘은 정말 믿기 어려울 정도로 신기한 소식을 가지고 왔습니다.

 

어떤 내용일까요? 포스팅을 읽고 다시 보시면 이해가 되실거에요!

 

AI 그림으로 애니메이션을 만든 작품들, 한 번쯤 보셨을 거예요. 이런 애니메이션들은 멋지긴 하지만, 프레임마다 일관성이 부족한 점이 종종 아쉬웠죠.

 

멋있지만, 프레임 일관성은 떨어집니다. 출처: https://www.tiktok.com/@bryguy_tv

 

하지만 11월 29일, 이 문제를 해결할 수 있는 논문이 발표됐어요. 바로 "AnimateAnyone" 이라는 논문인데요, 제목 그대로 누구나 애니메이션을 만들 수 있다는 내용의 논문입니다.

 

일단 실제 영상을 한 번 보시면 이해가 빠를 거예요.

 

모든 프레임에서 일관성을 유지하는 것을 주목해주세요. 출처: https://humanaigc.github.io/animate-anyone/

 

정말 놀랍지 않나요? 이런 영상을 만들기 위해선 두 가지가 필요합니다:

  1. 참고할 이미지
  2. 사람의 뼈대 모양을 한 영상

간단히 말해, 사람 뼈대 모양의 영상에 참고 이미지를 적용하고 프레임별로 일관성을 부여하는 거예요. 그 결과, 아래 영상처럼 매우 자연스러운 애니메이션이 탄생하죠.

 

출처: https://humanaigc.github.io/animate-anyone/

 

왼쪽은 참고 이미지, 가운데는 사람 뼈대 모양 영상, 오른쪽은 그 결과입니다.

 

논문에 소개된 다른 데모 영상들도 보여드릴게요.

 

참고 이미지가 사진이어도 잘 됩니다.  출처: https://humanaigc.github.io/animate-anyone/

 

 

참고 이미지가 만화 영상이어도 잘 됩니다. 출처: https://humanaigc.github.io/animate-anyone/

 

 

참고 이미지가 사람 형상의 CG여도 잘 됩니다. 출처: https://humanaigc.github.io/animate-anyone/

 

이전에 이와 유사한 기술이 있긴 했지만, AnimateAnyone의 성능은 훨씬 뛰어나답니다.

다른 기술과 비교한 영상을 확인해보세요.

 

DisCo 기술과 AnimateAnyone의 일관성 비교, 출처: https://humanaigc.github.io/animate-anyone

 

아직 코드나 사전 훈련된 모델은 공개되지 않았지만, 논문에 모델 구조 등이 상세히 나와 있어요. 그래서 내년 3월 쯤엔 누구나 사용할 수 있는 프로그램이 나올 것 같다는 예상을 해봅니다.

 

여러분은 어떤 영상을 만들어보고 싶으신가요? 미리 준비해보는 것도 좋겠죠?

 

이번 소식은 여기까지입니다. 더 자세한 정보가 궁금하시다면 논문을 참고해보세요. 논문은 https://arxiv.org/pdf/2311.17117.pdf 여기에서 보실 수 있습니다.

 

다음에도 흥미로운 AI 소식으로 찾아오겠습니다!