CWN(CHANGE WITH NEWS) - 중국 팬, 활동 뜸해진 가수 목소리로 딥페이크 커버곡 제작

  • 흐림원주18.9℃
  • 흐림양산시21.1℃
  • 흐림고창20.3℃
  • 흐림거창16.1℃
  • 흐림부여19.3℃
  • 흐림거제20.0℃
  • 흐림여수21.5℃
  • 흐림서청주18.5℃
  • 흐림철원16.9℃
  • 구름많음청송군14.4℃
  • 흐림충주19.5℃
  • 흐림춘천17.6℃
  • 흐림완도20.9℃
  • 흐림장흥21.5℃
  • 흐림고창군20.8℃
  • 구름조금고산22.2℃
  • 흐림순창군19.0℃
  • 흐림서산19.8℃
  • 흐림대전20.4℃
  • 구름많음울산18.8℃
  • 흐림의성16.5℃
  • 흐림이천18.8℃
  • 구름조금흑산도22.0℃
  • 흐림천안18.4℃
  • 흐림임실18.3℃
  • 맑음서귀포24.2℃
  • 흐림북춘천17.6℃
  • 구름많음울릉도19.3℃
  • 흐림추풍령16.1℃
  • 흐림경주시16.0℃
  • 구름많음영덕16.1℃
  • 흐림밀양18.8℃
  • 흐림영주15.7℃
  • 흐림청주21.6℃
  • 흐림군산20.2℃
  • 흐림상주17.7℃
  • 흐림남해20.7℃
  • 흐림양평18.5℃
  • 흐림진주18.2℃
  • 흐림부산20.5℃
  • 비홍성19.2℃
  • 흐림남원20.2℃
  • 구름많음대구17.8℃
  • 흐림안동17.7℃
  • 흐림김해시19.7℃
  • 흐림합천17.4℃
  • 구름많음포항19.8℃
  • 흐림보은18.3℃
  • 흐림장수16.1℃
  • 흐림정읍20.5℃
  • 흐림영광군20.6℃
  • 흐림해남21.6℃
  • 구름조금성산25.2℃
  • 흐림광양시20.8℃
  • 흐림강화18.0℃
  • 흐림전주20.7℃
  • 흐림북창원20.5℃
  • 흐림백령도20.4℃
  • 구름많음목포22.0℃
  • 흐림고흥21.6℃
  • 흐림홍천17.5℃
  • 흐림통영20.4℃
  • 흐림울진17.0℃
  • 흐림문경17.0℃
  • 구름많음진도군19.7℃
  • 흐림보령20.5℃
  • 구름많음북부산20.9℃
  • 흐림속초17.7℃
  • 흐림함양군16.9℃
  • 구름많음제주24.2℃
  • 흐림인제15.4℃
  • 구름많음순천17.2℃
  • 흐림광주20.6℃
  • 흐림산청17.3℃
  • 흐림보성군19.8℃
  • 흐림동해17.2℃
  • 흐림강진군21.3℃
  • 흐림의령군17.2℃
  • 구름많음창원20.9℃
  • 흐림동두천17.7℃
  • 흐림태백11.7℃
  • 흐림영월15.4℃
  • 흐림북강릉17.4℃
  • 흐림대관령11.0℃
  • 흐림파주17.6℃
  • 구름많음서울20.7℃
  • 흐림영천15.8℃
  • 흐림부안21.3℃
  • 흐림구미17.6℃
  • 흐림금산18.0℃
  • 흐림인천21.2℃
  • 흐림정선군13.9℃
  • 흐림봉화13.6℃
  • 흐림제천15.9℃
  • 흐림세종20.1℃
  • 흐림수원20.7℃
  • 흐림강릉18.2℃
  • 2025.09.23 (화)

중국 팬, 활동 뜸해진 가수 목소리로 딥페이크 커버곡 제작

고다솔 / 기사승인 : 2023-06-08 17:38:59
  • -
  • +
  • 인쇄

글로벌 온라인 뉴스 플랫폼 레스트 오브 월드가 싱가포르 가수 스테파니 선(Stefanie Sun)의 복귀를 오랜 시간 기다리던 중국 팬이 인공지능(AI)으로 가수 목소리를 복제한 사례를 소개했다.

스테파니 선은 지난 20년간 앨범 수백만 장을 판매하고, 중국에도 두터운 팬층을 보유한 아티스트이다. 그러나 2017년 이후 선은 앨범을 단 하나도 발매하지 않았다.

이에, 중국 샤먼에 거주하는 스테파니 선의 열혈 팬이자 코드 개발자인 정(Zheng)은 선의 노래를 중국 딥페이크 음성 생성 프로그램 So-Vits-SVC에 주입했다. 선이 직접 부른 노래를 이용해 프로그램이 선의 창법을 비롯한 다양한 특성을 학습하면서 똑같이 목소리를 따라하도록 훈련했다.

정은 “스테파니 선이 그동안 발매한 곡 이외에도 다른 노래를 부르는 것을 듣고 싶었다”라며, “AI는 일관성을 갖춘 상태에서 선의 목소리와 비슷한 음성을 생성한다”라고 말했다.

정은 지금까지 So-Vits-SVC을 이용해 포크 클래식 음악 ‘Five Hundred Miles’과 아델의 ‘Rolling in the Deep)’ 등 다양한 노래를 선의 딥페이크 목소리 버전으로 제작했다. 정이 So-Vits-SVC를 이용하여 제작한 스테파니 선의 딥페이크 음성을 이용한 커버곡은 지난달 중국 소셜 미디어 트렌드 검색어가 되었다.

So-Vits-SVC를 비롯한 오픈소스 AI 프로그램이 깃허브와 같은 중국 프로그래머를 위한 플랫폼에 널리 확산되면서 인터넷 사용자가 유명인의 목소리를 흉내내는 딥페이크 모델을 직접 훈련하고 완성하는 일이 쉬워졌다.

특히, So-Vits-SVC는 지난해 중국 영상 공유 웹사이트 빌리빌리(Bilibili) 크리에이터 Rcell이 개발하면서 현지 최대 인기 오픈소스 딥페이크 음원 생성 프로그램이 되었다. Rcell은 So-Vits-SVC가 중국에서 인기를 얻자 깃허브에도 공유했으며, 그 후 So-Vits-SVC의 인기는 해외로도 확산되었다.

하지만 중국 당국과 음반 산업 모두 음성 복제 AI 기술 확산 추세를 경고한다. 일례로, 중국 국영 언론은 AI 곡 제작자가 저작권 위반 행위를 저지른다는 점을 경고했다. 게다가 중국 정부가 딥페이크와 생성형 AI 관련 규제 초안을 새로이 발의하면서 딥페이크 콘텐츠의 저작권 침해 논란이 중국 내 화두가 되었다.

중국 정부가 딥페이크, 생성형 AI 규제 강화를 추진하지만, 일부 AI 열성 세력은 딥페이크 프로그램 개발을 포기하지 않는다. 빌리빌리에서 Flowers don’t cry라는 이름으로 활동한다고 신원을 밝힌 상하이의 27세 알고리즘 엔지니어는 레스트오브월드와의 인터뷰에서 음성 복제 소프트웨어 RVC를 개발했다고 밝혔다. 그는 RVC는 So-Vits-SVC보다 원본 파일 주입량이 더 적어도 타인의 목소리를 복제할 수 있다고 설명했다.

딥페이크 콘텐츠의 법적 문제와 관련, Flowers don’t cry는 “사용자의 RVC 사용 방식을 직접 통제할 수 없다”라며, “RVC를 오픈소스 프로그램으로 만들지 않았더라도 누군가가 RVC와 비슷한 딥페이크 음성 복제 프로그램을 오픈소스로 제작했을 것이다. 기술이 발전하는 것 자체를 멈출 수는 없다”라고 말했다.

중국 정부의 규제 실효성에도 의문이 제기되었다.

조지타운대학교의 보안 및 신흥 기술 센터(Center for Security and Emerging Technology)의 헬렌 토너(Helen Toner) 소장은 “새로운 AI 규정에 따라 서비스 제공업체는 대중에게 혼란을 줄 수 있는 콘텐츠에 라벨을 부착해야 한다. 그러나 AI 소프트웨어 개발자에게 책임을 물을 수 있을지는 불분명하다”라고 전했다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]

최신기사

뉴스댓글 >

- 띄어 쓰기를 포함하여 250자 이내로 써주세요.
- 건전한 토론문화를 위해, 타인에게 불쾌감을 주는 욕설/비방/허위/명예훼손/도배 등의 댓글은 표시가 제한됩니다.

댓글 0

Today

Hot Issue