“멤버들이 부른 음원 초안을 받아봤을 땐 ‘큰일났다’는 생각이 들었어요. 방대한 음성 데이터를 토대로 음원 발매 직전까지 작업을 계속해 나온 결과물을 듣고 나니 AI 기술에 감사하게 됐죠(웃음).”

세계 최초 청각장애인 K팝 그룹 빅오션을 데뷔시킨 차해리 파라스타엔터테인먼트 대표는 25일 서울신문과의 통화에서 “우리 빅오션 친구들은 영영 부를 수 없을 거라고 생각했던 완성도 높은 노래가 AI 보이스 컨버전 기술 덕분에 만들어질 수 있었다”며 멤버들의 첫 녹음부터 최종 음원이 나오기까지 과정을 가장 가까이서 지켜본 소감을 이렇게 말했다.

AI 시대가 열리면서 청각장애인도 비장애인처럼 자신의 이름은 건 음반을 내는 일이 가능해졌다. 문자를 입력하면 AI 보이스가 다소 딱딱한 음성으로 읽어주던 수준의 음성합성(Text to Speech·TTS) 기술이 이제는 음성 데이터만 있으면 누구든 멋진 가창력을 뽐내는 가수로 만들어주는 ‘싱잉 보이스’(Singing Voice) 수준으로 발전하면서다.

차 대표가 처음부터 AI 기술을 염두에 뒀던 건 아니다. 청각장애인은 자신의 음정을 인식하기 어렵기에 노래를 부르는 건 힘들지만, 랩은 연습하면 일정 수준에 오를 거란 판단에서 빅오션 데뷔를 추진했다. 랩은 멤버들이 하되 노래 부분을 피처링을 통해 해결한다는 계획이었다. 그러나 아무리 연습해도 청각장애인 특유의 특정 발음이 새는 현상 등은 쉽게 고쳐지지 않았다. 이런 한계에 부딪혔을 때 떠오른 해결책이 AI 보이스였다.

빅오션 멤버들은 비장애인처럼 음계를 위아래로 정확히 왔다갔다 하며 노래하는 게 힘들다. 두 음만 올려야 하는데 네 음이 올라가고, 세 음을 내려야 하는데 다섯 음을 내리는 일이 반복된다. 이때 음정을 정확하게 잡아주는 역할을 AI가 해준다. AI는 우선 축적된 데이터를 기반으로 멤버 각자의 음색을 학습한다. 멤버별 고유의 발음 습관 같은 것도 그대로 학습할 수 있다. 이 때문에 실제 노래를 빅오션이 100% 부른 건 아님에도 팬들은 노래를 듣고 ‘이건 빅오션이 부른 게 맞다’고 생각하게 된다.

물론 완성도를 높이려면 방대한 양의 데이터 학습이 중요하다. 차 대표는 “처음엔 멤버들의 일상 대화를 몇 시간씩 녹음해 보냈고, 나중에 다양한 노래를 부른 음성을 보내 학습시켰다”며 “그렇게 하다 보니 점점 높은 퀄리티의 결과물이 나오게 됐다”고 말했다.

가이드 보컬과의 ‘궁합’도 중요하다. 멤버들도 데이터로 사용할 노래를 부르긴 하지만, 실제 음원의 뼈대가 되는 노래는 가이드 보컬이 부르고 여기에 멤버들의 음색을 덧입혀 완성한다. 이때 가이드 보컬이 AI가 작업하기 수월한 스타일로 노래해야 AI 작업 과정에서 특정 값이 튀는 현상 등을 막을 수 있다. 차 대표는 가이드 보컬을 수차례 바꿔가며 빅오션과 가장 잘 어울리는 AI 작업물을 얻어냈다.

AI의 능력은 외국어에서도 통했다. 빅오션이 영어를 구사하는 멤버들이 아니어서 최초 영어 버전은 완벽한 콩클리시로 녹음됐지만, AI 작업을 거치니 원어민처럼 부드러운 영어 발음이 노래에 담겼다. 해외 K팝 팬들도 어색하지 않게 들을 수 있는 영어 음원이 만들어진 것이다.

빅오션 데뷔 싱글 작업은 생성형 AI 더빙을 주력으로 하는 스타트업 허드슨AI, ㈜삼송이앤엠홀딩스, ㈜뮤블 등의 도움을 받아 이뤄졌다. 차 대표는 “AI 보이스 기술을 사용한다고 하면 성우나 아니운서 같은 직업이 사라지지 않겠냐는 우려가 큰데, 빅오션은 AI 보이스가 더 많은 사람들에게 희망을 주는 순기능을 보여줘 AI 회사들도 저희와의 협업을 긍정적으로 검토해줬다”고 설명했다.

차 대표는 전 세계적인 인기를 끌고 있는 K팝 산업의 덕도 봤다고 털어놨다. 빅오션 데뷔를 위해 협업할 AI 업체를 찾기 위해 SK텔레콤의 지원을 받아 지난 2월 스페인 바르셀로나에서 열린 ‘모바일월드콩그레스 2024’(MWC24) 현장을 찾았는데 그의 마음을 사로잡은 업체는 한국관에 있었다. 차 대표는 “우리가 엔터테인먼트와 정보기술(IT)을 잘하는 나라다 보니 관련 AI 기술도 그만큼 발전해 있는 것 같다”며 “만약 다른 나라에서 청각장애인 아이돌을 데뷔시키려 했다면 지금처럼 못했을 수도 있겠다는 생각이 들었다”고 말했다.

빅오션은 장애인의날인 지난 4월 20일 데뷔했다. 고려대 안암병원에서 난청인 훈련·재활을 돕는 청능사로 일한 이찬연, 장애인 알파인스키 선수 출신 김지석, 청각장애인 인식 개선 유튜버로 활동한 박현진 등 3명으로 구성됐다. 다른 K팝 그룹처럼 2년간의 연습생 생활을 거치고 최종 데뷔를 위한 경쟁을 뚫었다. 데뷔곡은 H.O.T. 원곡을 리메이크한 ‘빛’(Glow)이다. 원곡 무대와 달리 수어를 사용한 안무가 특징이다.

한편 차 대표는 이날 서울 중구 포스트타워에서 과학기술정보통신부가 주최한 ‘디지털 접근성 컨퍼런스’에서 AI 기술이 장애인의 디지털 접근을 높인 사례로 빅오션을 소개하면서 “멤버 전원이 청각장애인인 빅오션이 AI 보이스 컨버전을 통해 장애와 비장애 간극을 줄이고 아이돌 산업에 새로운 획을 그을 수 있었다”고 발표했다.