중국 팬, 활동 뜸해진 가수 목소리로 딥페이크 커버곡 제작

중국 팬, 활동 뜸해진 가수 목소리로 딥페이크 커버곡 제작: 고다솔 / 기사승인 : 2023-06-08 17:38:59

글로벌 온라인 뉴스 플랫폼 레스트 오브 월드가 싱가포르 가수 스테파니 선(Stefanie Sun)의 복귀를 오랜 시간 기다리던 중국 팬이 인공지능(AI)으로 가수 목소리를 복제한 사례를 소개했다.

스테파니 선은 지난 20년간 앨범 수백만 장을 판매하고, 중국에도 두터운 팬층을 보유한 아티스트이다. 그러나 2017년 이후 선은 앨범을 단 하나도 발매하지 않았다.

이에, 중국 샤먼에 거주하는 스테파니 선의 열혈 팬이자 코드 개발자인 정(Zheng)은 선의 노래를 중국 딥페이크 음성 생성 프로그램 So-Vits-SVC에 주입했다. 선이 직접 부른 노래를 이용해 프로그램이 선의 창법을 비롯한 다양한 특성을 학습하면서 똑같이 목소리를 따라하도록 훈련했다.

정은 “스테파니 선이 그동안 발매한 곡 이외에도 다른 노래를 부르는 것을 듣고 싶었다”라며, “AI는 일관성을 갖춘 상태에서 선의 목소리와 비슷한 음성을 생성한다”라고 말했다.

정은 지금까지 So-Vits-SVC을 이용해 포크 클래식 음악 ‘Five Hundred Miles’과 아델의 ‘Rolling in the Deep)’ 등 다양한 노래를 선의 딥페이크 목소리 버전으로 제작했다. 정이 So-Vits-SVC를 이용하여 제작한 스테파니 선의 딥페이크 음성을 이용한 커버곡은 지난달 중국 소셜 미디어 트렌드 검색어가 되었다.

So-Vits-SVC를 비롯한 오픈소스 AI 프로그램이 깃허브와 같은 중국 프로그래머를 위한 플랫폼에 널리 확산되면서 인터넷 사용자가 유명인의 목소리를 흉내내는 딥페이크 모델을 직접 훈련하고 완성하는 일이 쉬워졌다.

특히, So-Vits-SVC는 지난해 중국 영상 공유 웹사이트 빌리빌리(Bilibili) 크리에이터 Rcell이 개발하면서 현지 최대 인기 오픈소스 딥페이크 음원 생성 프로그램이 되었다. Rcell은 So-Vits-SVC가 중국에서 인기를 얻자 깃허브에도 공유했으며, 그 후 So-Vits-SVC의 인기는 해외로도 확산되었다.

하지만 중국 당국과 음반 산업 모두 음성 복제 AI 기술 확산 추세를 경고한다. 일례로, 중국 국영 언론은 AI 곡 제작자가 저작권 위반 행위를 저지른다는 점을 경고했다. 게다가 중국 정부가 딥페이크와 생성형 AI 관련 규제 초안을 새로이 발의하면서 딥페이크 콘텐츠의 저작권 침해 논란이 중국 내 화두가 되었다.

중국 정부가 딥페이크, 생성형 AI 규제 강화를 추진하지만, 일부 AI 열성 세력은 딥페이크 프로그램 개발을 포기하지 않는다. 빌리빌리에서 Flowers don’t cry라는 이름으로 활동한다고 신원을 밝힌 상하이의 27세 알고리즘 엔지니어는 레스트오브월드와의 인터뷰에서 음성 복제 소프트웨어 RVC를 개발했다고 밝혔다. 그는 RVC는 So-Vits-SVC보다 원본 파일 주입량이 더 적어도 타인의 목소리를 복제할 수 있다고 설명했다.

딥페이크 콘텐츠의 법적 문제와 관련, Flowers don’t cry는 “사용자의 RVC 사용 방식을 직접 통제할 수 없다”라며, “RVC를 오픈소스 프로그램으로 만들지 않았더라도 누군가가 RVC와 비슷한 딥페이크 음성 복제 프로그램을 오픈소스로 제작했을 것이다. 기술이 발전하는 것 자체를 멈출 수는 없다”라고 말했다.

중국 정부의 규제 실효성에도 의문이 제기되었다.

조지타운대학교의 보안 및 신흥 기술 센터(Center for Security and Emerging Technology)의 헬렌 토너(Helen Toner) 소장은 “새로운 AI 규정에 따라 서비스 제공업체는 대중에게 혼란을 줄 수 있는 콘텐츠에 라벨을 부착해야 한다. 그러나 AI 소프트웨어 개발자에게 책임을 물을 수 있을지는 불분명하다”라고 전했다.