Kling AI 립싱크: 캐릭터를 말하게 만드는 방법

Kling AI 립싱크는 대사가 중요해지기 전까지는 쉬워 보입니다: 인용된 대사를 말하도록 요청받은 비디오 모델은 단어를 바꾸거나, 멈춤을 서두르거나, 매 테이크마다 캐릭터에게 새로운 목소리를 줄 수 있습니다. Flick에서 Kling의 립싱크 모델은 Kling Avatar이며, Character Dialogue로 실행되고, 목소리를 생성하는 대신 당신이 선택한 녹음에서 가져옵니다. 우리는 Jaime Yao의 4:27 미니어처 단편 The Herder의 대화 씬 하나를 공개 캔버스에서 만들어진 11개의 비디오 테이크와 1개의 음성 대사를 통해 추적했습니다. 이 가이드는 정지 프레임에서 말하는 장면까지의 네 단계를 각각의 정확한 프롬프트와 함께 보여줍니다.

Kling AI 립싱크란 무엇인가요?

• 캐릭터 대화는 립싱크 도구입니다: 첨부한 오디오의 음성, 단어, 타이밍을 그대로 유지합니다.
• Kling 비디오 모델은 몸과 카메라도 함께 움직이기 때문에, The Herder는 한 인사말에 두 가지 방법을 모두 시도했습니다.

Kling AI로 캐릭터를 립싱크하는 단계별 방법은 무엇인가요?

1. 1단계

   프레임 선택

   Kling Avatar는 한 장의 이미지만 애니메이션화하고 캐릭터를 다른 곳으로 움직이지 않기 때문에, 말하는 얼굴이 크고 선명하며 전체 대사 동안 원하는 포즈를 담은 정지 이미지를 선택하세요.

   • 이 프레임은 중국어로 작성된 Nano Banana Pro 편집으로, 전경의 남자를 흐리게 처리하고 수염 난 남자에게 미니어처 스튜디오 느낌을 부여합니다.
   • 이 씬의 11개 비디오 테이크 중 8개의 시작 프레임이 동일한 프레임이므로, 모든 시도가 한 장의 사진에서 시작되었습니다.
   • 수염 난 남자의 머리가 여기서 숙여져 있으며, 완성된 립싱크에서도 숙여진 상태로 유지됩니다.

   

2. 2단계

   정확한 대사 작성

   음성을 생성하기 전에 구두점과 멈춤을 포함하여 대사를 그대로 작성하면, 음성 테이크와 영상 프롬프트 모두 동일한 대본을 기반으로 작업할 수 있습니다.

   • Jaime는 먼저 Kling 3.0 Pro에게 더 긴 액션 안에서 대사를 말하도록 요청했습니다: 위를 보고, 인사하고, 악수하고, 걸어가는 것입니다.
   • 이 씬의 Kling 3.0 Pro 테이크 5개와 Seedance 1.5 Pro 테이크 1개는 "인용된 대사만 정확히 말하세요."로 대사를 정확히 인용합니다.
   • 이와 같은 테이크는 비디오 모델이 만든 립싱크이므로, 음성은 모델이 선택한 것입니다.

   

   

   00:10

   Same miniature diorama street and shallow macro depth of field, soft daylight. The fallen diagonal tree trunk wrapped in thin brass rings remains fixed in the background.
   
   Man A (heavyset, gray beard, dark long coat, leather satchel) starts with head lowered and silent.
   Man B (slimmer, worn dark coat, round top hat, cross-body bags, wooden walking stick) is approaching from behind the camera, mostly back-facing. From the very first frame, Man B is already walking forward at a steady pace (continuous walking, no pause, no hesitation), entering the scene from behind the camera.
   
   Man A first lifts his head, looks directly toward Man B, and only then begins speaking. Man A speaks clearly in English with visible lip-sync, saying:
   
   “Ah, Tuner Kagran. At last.
   I trust your journey was… agreeable.
   Ours, regrettably, has not been.”
   
   Action sequence (one continuous shot):
   
   Man A’s mouth stays closed until after he has fully raised his head and made eye contact toward Man B. While speaking the lines above, Man A keeps his gaze up toward Man B and speaks with clear mouth movement and slight pauses matching the punctuation.
   
   Man B keeps walking forward during the speech and arrives near Man A.
   
   After the final line, Man A steps forward and extends his left hand.
   
   They shake hands once using their left hands only (firm but brief). Man B keeps the walking stick in his right hand during the handshake.
   
   Immediately after the handshake, Man A turns his body toward the fallen trunk and gestures forward, then begins walking to lead Man B toward the trunk.
   
   Man B follows alongside, holding the walking stick, as they approach the trunk together.
   
   Keep the environment unchanged. No camera movement. No new characters. This scene has a very handheld feel. Do not add any extra words. Speak exactly the quoted lines only.

   의미:미니어처 거리 배경에서 회색 수염의 남자가 뒤에서 오는 지팡이 든 남자에게 말하고 악수한 후 함께 통나무로 걸어갑니다.

3. 3단계

   대사 음성 생성

   Eleven v3의 텍스트 음성 변환으로 대사를 생성하거나 직접 녹음하고, 캐릭터에 맞는 속도의 테이크를 선택하세요. Kling Avatar가 오디오 타이밍을 정확히 복사합니다.

   • The Herder의 대사는 8.75초 동안 진행되며, "agreeable" 앞에 멈춤이 있고 끝부분은 더 느립니다.
   • Eleven v3의 텍스트 음성 변환은 Free 플랜에서 생성당 8 크레딧으로 이용할 수 있습니다.
   • 캐릭터 대화는 mp3, wav, m4a, ogg 또는 aac 파일 형식의 직접 녹음도 받습니다.

   00:09

4. 4단계

   캐릭터 대화 실행

   스틸을 캐릭터 이미지로, 대사를 오디오로 첨부하고, Kling AI Avatar v2 또는 Kling AI Avatar v2 Pro를 선택한 후, 표정을 조정하고 싶을 때 프롬프트를 추가하세요.

   • Jaime는 프롬프트를 비워둔 채 Kling AI Avatar v2 Pro를 실행했기 때문에, 얼굴이 음성만을 따라갑니다.
   • 클립은 8.8초 동안 실행되는데, 이는 대사의 길이와 같습니다. Character Dialogue는 오디오 길이만큼 클립을 생성하기 때문입니다.
   • Character Dialogue는 Standard 플랜($20/월)에서 실행되며 오디오 초당 요금이 청구됩니다.

   The Herder 워크플로우 열기

   00:09

립싱크된 한 줄의 대사를 만드는 데 무엇이 필요했나요?

Kling 립싱크를 자연스럽게 보이게 하는 요소는 무엇인가요?

1. 1. 스틸에서 포즈 선택하기

   캐릭터가 말할 때 어떻게 보여야 할지를 위한 프레임을 선택하세요. Kling Avatar는 스틸 이미지에서 얼굴이 있는 위치를 기준으로 애니메이션을 적용하기 때문입니다. The Herder의 남자는 고개를 숙인 채로 전체 대사를 말합니다.

2. 2. 오디오를 먼저 제작하기

   비디오보다 먼저 음성 테이크를 확정하세요. 오디오가 클립의 길이와 모든 입 모양을 결정하므로, 새로운 테이크는 새로운 립싱크를 의미합니다.

3. 3. 비디오 프롬프트에 대사 고정하기

   Kling 비디오 모델이 대신 대사를 말할 때는, 인용된 단어만 말하고 다른 것은 말하지 않도록 지시하여 입술이 다시 표현된 대사를 따르지 않도록 하세요.

   Do not add any extra words. Speak exactly the quoted lines only.

   Jaime Yao 감독의 The Herder

   의미:인용된 대사만 정확히 말하고 추가 단어를 넣지 않습니다.

4. 4. 표정이 나올 때까지 입 유지하기

   무엇을 말하는지뿐만 아니라 언제 말을 시작하는지도 명시하여, 캐릭터가 대사를 전할 상대를 향하기 전에 말을 시작하지 않도록 하세요.

   Man A’s mouth stays closed until after he has fully raised his head and made eye contact toward Man B.

   Jaime Yao 감독의 The Herder

   의미:남자가 고개를 들고 눈을 마주친 후에야 입을 엽니다.

5. 5. 프롬프트로 표정 조정하기

   Character Dialogue의 선택적 프롬프트는 표정과 강도를 위해 사용하고, 대사를 위해서는 사용하지 마세요. 대사는 이미 오디오에서 나오기 때문입니다.

   His breathing and facial tension should make the line feel effortful, almost like speaking takes work.

   Jaime Yao 감독의 Ulysses

   의미:힘들게 숨쉬며 긴장한 표정으로 말하는 것이 노력처럼 보입니다.

6. 6. 대사와 동작 분리하기

   대사에는 전용 립싱크 샷을 주고 악수나 걷기는 비디오 클립에 맡기세요. The Herder의 테이크에서 두 가지를 한 샷에 담으려다 보니 음성과 움직임을 동시에 맞춰야 했기 때문입니다.

Kling AI 립싱크에 관한 질문

Flick에서 캐릭터를 말하게 만드는 방법 더 보기

이 가이드의 영화

• Jaime Yao · The Herder