AI 음성과 아바타 이미지를 활용하여 말하는 영상을 만드는 방법은?

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

AI 음성과 아바타 이미지를 활용하여 말하는 영상을 만드는 방법은?

ElevenLabs에서 텍스트를 음성으로 변환하고, Hedra에서 얼굴 이미지와 음성 파일을 업로드하여 립싱크 아바타 영상을 자동으로 생성 할 수 있습니다

ElevenLabs와 Hedra의 주요 기능 및 한계점은?

• ElevenLabs: 텍스트를 자연스러운 음성으로 변환하며 성별, 감정, 언어 선택이 가능하지만, 한국인 성우가 제한적이고 일부 발음이 어색할 수 있습니다
• Hedra: 얼굴 이미지와 음성 파일로 립싱크 아바타 영상을 만들 수 있으며 캐릭터나 동물 이미지에도 적용 가능하지만, 한국어 목소리 지원이 제한적이고 무료 사용자는 상업적 용도 및 크레딧 제한이 있습니다

이 콘텐츠는 AI 음성 합성과 립싱크 아바타 생성 기술을 활용하여 이커머스 홍보 영상을 효율적으로 제작하는 실질적인 방법을 제시합니다. ElevenLabs로 자연스러운 음성을 만들고, Hedra로 이미지에 생동감 있는 립싱크를 부여하는 과정을 상세히 안내하여, 누구나 전문적인 홍보 영상을 만들 수 있도록 돕습니다. 단순한 기술 소개를 넘어, 각 도구의 장단점과 실제 활용 시 주의할 점까지 짚어주어 시행착오를 줄이고 실전 마케팅에 바로 적용할 수 있는 구체적인 인사이트를 제공합니다.

1. AI 음성 및 립싱크 아바타 활용 이커머스 홍보 영상 제작 개요

1. 콘텐츠 제작의 필요성:
   1. 단순한 이미지나 텍스트만으로는 소비자의 눈길을 끌기 어려운 시대이다.
   2. 많은 쇼핑몰 운영자나 제품 홍보 담당자들이 쉽고 빠르며 전문적인 영상 제작 방법을 고민한다.
2. AI 기술의 발전:
   1. AI 음성과 립싱크 아바타 기술을 활용하여 별도의 장비 없이 누구나 손쉽게 홍보 영상을 제작할 수 있게 되었다.
   2. 본 콘텐츠에서는 이러한 기술들을 함께 알아본다.

2. AI 음성 합성 플랫폼: ElevenLabs (일레븐랩스)

2.1. ElevenLabs 소개 및 특징

1. ElevenLabs의 기능: 입력한 텍스트를 자연스럽고 감정이 담긴 음성으로 변환해 주는 음성 합성 플랫폼이다.
2. 활용성:
   1. 성별, 감정, 언어 등을 다양하게 선택할 수 있어 제품이나 콘텐츠의 톤앤매너에 맞는 음성을 손쉽게 찾을 수 있다.
   2. 다른 사람의 목소리로 바꾸거나 효과를 생성하는 기능도 있어 활용도가 매우 높다.
3. 아쉬운 점:
   1. 한국인 성우가 약 30명 정도로 제한적이다.
   2. 일부 목소리는 어색한 발음이 포함되어 있어 사용 시 주의가 필요하다.

2.2. ElevenLabs 회원 가입 및 음성 파일 생성 방법

1. ElevenLabs 접속: 구글에서 "ElevenLabs"를 검색하여 elevenlabs.io에 접속한다.
2. 회원 가입:
   1. 회원 가입이 안 되어 있는 경우 'Sign up'을 클릭한다.
   2. 'Sign up with Google'을 선택하고 이메일과 비밀번호를 입력한다.
   3. 휴대폰 인증을 진행한다.
   4. 이름(영어로 타이핑)과 생년월일을 입력한다.
   5. ElevenLabs를 알게 된 경로 및 사용 용도에 대한 질문은 스킵해도 무방하다.
3. 음성 파일 생성 (Text to Speech):
   1. ElevenLabs 주 페이지에서 'Text to Speech' 메뉴로 이동한다.
   2. 딸기잼 판매 홍보 내용을 예시로 음성 파일을 생성한다.
   3. 한국어 목소리 선택:
      1. 언어 설정에서 'Korean'을 선택한다.
      2. 약 30명의 한국어 성우 중 적합한 목소리를 찾아야 한다.
      3. 추천 방법: 'Top Picks for You'를 클릭하면 3명 정도의 추천 목소리가 나오므로, 이 중에서 선택하는 것이 시간을 절약할 수 있다.
      4. 예시 음성들을 들어보고 적합한 목소리를 선택한다.
   4. 여성 목소리 음성 파일 생성:
      1. 선택한 여성 목소리를 더블 클릭하여 'Add to My Voices'를 누른다.
      2. 'Generate Speech'를 클릭하여 음성을 생성한다.
      3. 생성된 음성을 들어보고 다운로드한다. (예시: 두 번째 음성이 더 나은 것으로 판단하여 다운로드)
   5. 남성 목소리 음성 파일 생성:
      1. 선택한 남성 목소리를 더블 클릭하여 'Add to My Voices'를 누른다.
      2. 'Generate Speech'를 클릭하여 음성을 생성한다.
      3. 생성된 음성을 들어보고 다운로드한다. (예시: 첫 번째 음성이 더 마음에 들어 다운로드)
   6. 결과적으로 남성 목소리 하나, 여성 목소리 하나를 다운로드한다.

2.3. ElevenLabs의 추가 기능: 보이스 체인저 및 사운드 이펙트

1. 보이스 체인저 (Voice Changer):
   1. 기존 여성 목소리를 다른 사람의 목소리로 변경할 수 있다.
   2. 예시: '태오'라는 남성 목소리로 변경하여 들어본다.
2. 사운드 이펙트 (Sound Effect):
   1. 'Sound Effect' 메뉴에서 직접 타이핑하거나 'Explorer'를 통해 다른 사용자들이 사용한 프롬프트를 확인할 수 있다.
   2. 예시: 'Animals' 카테고리에서 '늑대 하울링'을 복사하여 입력하고 사운드 이펙트를 생성한다.
   3. 생성된 사운드 이펙트를 다운로드한다.

3. 립싱크 아바타 생성 플랫폼: Hedra (헤드라)

3.1. Hedra 소개 및 특징

1. Hedra의 기능: 얼굴 이미지와 음성 파일을 업로드하면 자동으로 립싱크 아바타 영상을 만들어 주는 플랫폼이다.
2. 구현 특징:
   1. 눈동자, 입술, 고개까지 움직이는 모습을 구현하여 실제 사람이 말하는 듯한 느낌을 준다.
   2. 사람뿐만 아니라 캐릭터나 동물 이미지에도 적용할 수 있어 개성 있고 재미있는 콘텐츠 제작에 유용하다.
3. 음성 파일 생성 기능:
   1. Hedra는 영상뿐만 아니라 음성 파일도 생성해 주는 기능이 있다.
   2. 하지만 한국어 목소리는 여성 성우 한 명만 지원되므로, ElevenLabs와 같은 플랫폼에서 음성을 만든 후 불러와서 사용하는 경우가 더 많다.
4. ElevenLabs와의 연동: Hedra와 ElevenLabs를 함께 활용하면 아바타 홍보 콘텐츠를 쉽게 만들 수 있다.
5. Hedra 접속 및 회원 가입:
   1. 구글에서 "Hedra"를 검색하여 hedra.com에 접속한다.
   2. ElevenLabs와 마찬가지로 구글 계정으로 회원 가입을 진행한다.
6. Hedra의 주요 섹션: 비디오, 이미지, 오디오를 만드는 섹션으로 구성되어 있으며, 원하는 콘텐츠에 따라 선택하여 제작할 수 있다.
7. 요금제:
   1. 무료 요금제는 매달 300 크레딧을 제공한다.
   2. 20초짜리 540p 영상 제작에 약 60 크레딧 이상, 720p 영상 제작에 약 120 크레딧 미만이 소모되므로, 무료로는 많은 영상을 만들 수 없다.

3.2. 아바타 이미지 생성 및 비디오 제작 과정

1. 아바타 이미지 합성 요청 (ChatGPT 활용):
   1. ChatGPT에 이미지 합성을 위한 프롬프트를 요청한다.
   2. 요청 내용: "아래 음성 프롬프트를 립싱크할 아바타 캐릭터 이미지 생성을 위해 남녀 각각 프롬프트 3종을 만들어 줘. 참고로 아바타와 이미지는 헤드라에서 만들 거야. 이미지 속 캐릭터는 딸기 바구니나 딸기잼을 들고 있으면 좋겠어."
   3. ChatGPT의 추천:
      1. 여성 아바타: 주부, 홍카페, 푸드 크리에이터 스타일을 추천한다.
      2. 남성 아바타: 딸기 농부, 셰프 아바타, 셀러 또는 유튜버를 추천한다.
   4. 예시에서는 잼 만드는 주부(여성)와 농부(남성)를 주제로 이미지를 만들 계획이다.
2. Hedra에서 이미지 생성:
   1. Hedra 메인 페이지에서 'Image' 섹션으로 이동한다.
   2. ChatGPT에서 받은 여성 주부 프롬프트를 입력하고 이미지 생성을 요청한다.
   3. 생성된 여성 주부 이미지를 확인한다.
   4. 남성 농부 프롬프트를 입력하고 이미지 생성을 요청하여 이미지를 확인한다.
3. 아바타 비디오 제작:
   1. ElevenLabs를 통해 오디오 파일을 만들고, Hedra를 통해 남녀 이미지를 생성했으므로 이제 아바타 비디오를 만들 차례이다.
   2. Hedra에서 'Video' 섹션을 클릭한다.
   3. 이미지 및 음성 파일 업로드:
      1. 'Start Frame'에 생성한 여성 이미지를 업로드한다.
      2. ElevenLabs에서 만든 음성 파일을 업로드한다.
      3. 'Add to Video'를 클릭한다.
   4. 설정:
      1. 무료 사용자는 모델 선택이 불가능하다.
      2. 화면 비율은 9:16으로 설정한다.
      3. 해상도는 540p로 먼저 테스트해 보는 것을 권장하며, 720p도 가능하다.
      4. 720p 선택 시 114 크레딧이 차감된다.
      5. 540p 영상은 약 3분, 720p 영상은 약 3~5분 정도 소요되어 생성된다.
4. 생성된 아바타 영상 확인:
   1. 여성 아바타 영상: 딸기잼 홍보 영상이 생성되었으나, 요청과 달리 딸기 주스가 나온다.
   2. 남성 아바타 영상: 딸기 바구니를 들고 있는 남성 아바타 영상이 생성되었으나, 양손을 떼도 바구니가 떨어지지 않는 등 중력 법칙을 무시하는 모습을 보인다.
5. AI 영상의 한계점:
   1. 현재 인공지능으로 만든 영상은 아직 완벽하지 않다.
   2. 보통은 AI로 만든 영상 중 괜찮은 부분만 편집하여 사용한다.
   3. 차후 기술이 발전하겠지만, 아직은 이 정도가 한계이다.

4. AI 음성 및 아바타 영상 활용 및 한계점

1. ElevenLabs와 Hedra 활용 요약:
   1. ElevenLabs를 통해 텍스트를 음성으로 변환한다.
   2. Hedra를 통해 정면 이미지를 만들고, ElevenLabs에서 합성한 음성 파일을 넣어 입모양이 살아있는 아바타 영상을 생성한다.
2. 실전 마케팅 활용:
   1. 이러한 방법으로 만든 영상은 상세 페이지, SNS 쇼츠, 리뷰 영상, 신제품 소개 등 실전 마케팅에 바로 사용할 수 있다.
3. 현재 기술의 한계점:
   1. 발음 및 억양: 아바타의 발음이 완벽하지 않으며, 한국어임에도 외국인이 말하는 듯한 억양이 나올 때가 많다.
   2. 립싱크: 립싱크가 완전히 일치하지 않고 약간 어색한 부분이 있다.
   3. Hedra 무료 사용자의 제한:
      1. 상업적 용도로 사용이 불가능하다.
      2. 크레딧 제한으로 인해 생성 횟수나 길이에 제한이 있다.

텍스트 한 줄로 이미지와 동영상을 만들어주는 AI는 무엇인가? 바로가기

아트리스트 (Artlist)텍스트 한 줄로 이미지부터 동영상까지 만들어주는 AI - 하나이프 블로그