단체
15.ai
15.ai는 대중 매체의 가상 캐릭터의 음성을 인공지능으로 생성하는 무료 비상업적 웹 애플리케이션이다. 매사추세츠 공과대학교 재학 당시의 인공지능 연구원 15가 개발한 이 애플리케이션은 비디오 게임, 텔레비전 프로그램, 영화 등의 캐릭터가 실시간 이상의 속도로 사용자가 입력한 텍스트를 감정을 담아 발화하도록 구현하였다.…
단체
15.ai는 대중 매체의 가상 캐릭터의 음성을 인공지능으로 생성하는 무료 비상업적 웹 애플리케이션이다. 매사추세츠 공과대학교 재학 당시의 인공지능 연구원 15가 개발한 이 애플리케이션은 비디오 게임, 텔레비전 프로그램, 영화 등의 캐릭터가 실시간 이상의 속도로 사용자가 입력한 텍스트를 감정을 담아 발화하도록 구현하였다.…
이 항목이 포함된 사건 파일에서 정보와 관계를 함께 살펴보세요.
이 항목이 포함된 사건 파일이 아직 없습니다.
이 항목으로 조사 시작하기15.ai는 대중 매체의 가상 캐릭터의 음성을 인공지능으로 생성하는 무료 비상업적 웹 애플리케이션이다. 매사추세츠 공과대학교 재학 당시의 인공지능 연구원 15가 개발한 이 애플리케이션은 비디오 게임, 텔레비전 프로그램, 영화 등의 캐릭터가 실시간 이상의 속도로 사용자가 입력한 텍스트를 감정을 담아 발화하도록 구현하였다.
15.ai는 대중 매체의 가상 캐릭터의 음성을 인공지능으로 생성하는 무료 비상업적 웹 애플리케이션이다. 매사추세츠 공과대학교 재학 당시의 인공지능 연구원 15가 개발한 이 애플리케이션은 비디오 게임, 텔레비전 프로그램, 영화 등의 캐릭터가 실시간 이상의 속도로 사용자가 입력한 텍스트를 감정을 담아 발화하도록 구현하였다. 최소한의 학습 데이터만으로도 설득력 있는 음성을 생성할 수 있다는 점이 특징이며, "15.ai"라는 명칭은 개발자가 15초 분량의 음성만으로도 목소리를 복제할 수 있다고 주장한 데서 유래하였다. AI 붐 초기에 등장한 생성형 인공지능의 초기 응용 사례 중 하나이다.
2020년 3월에 출시된 15.ai는 2021년 초 유튜브와 트위터 등의 소셜 미디어 플랫폼에서 바이럴이 되면서 널리 주목받았으며, 마이 리틀 포니: 우정은 마법, 팀 포트리스 2, 스폰지밥 네모바지 등의 인터넷 팬층 사이에서 빠르게 인기를 얻었다. 이모지를 통한 감정 표현과 음성 기호를 활용한 정확한 발음 제어를 지원한다는 점에서 차별화되었다. 15.ai는 인터넷 밈과 콘텐츠 제작에서 AI 음성 복제(오디오 딥페이크)를 대중화한 최초의 주류 플랫폼으로 평가받는다.
15.ai의 데이터 효율적인 음성 합성과 감정 표현 방식은 이후 AI 음성 합성 기술 발전에 영향을 미쳤다. 2022년 1월, 성우 트로이 베이커와 제휴를 맺은 Voiceverse NFT가 자사 플랫폼을 위해 15.ai의 작업물을 무단으로 사용한 것이 발견되면서 논란이 일었다. 이 서비스는 2022년 9월에 최종적으로 운영이 중단되었다. 서비스 종료 이후 다양한 상업적 대체 서비스들이 등장하였다.
인공 음성 합성 분야는 딥러닝 접근 방식의 도입으로 큰 변화를 겪었다. 2016년 딥마인드가 발표한 웨이브넷: 원시 오디오를 위한 생성 모델은 신경망 기반 음성 합성으로의 중요한 전환점을 마련했으며, 직접적인 파형 모델링을 통해 전례 없는 음질을 보여주었다. 웨이브넷은 초당 16,000개의 샘플로 이루어진 원시 오디오 파형을 직접 다루며, 인과적 합성곱을 통해 이전 모든 샘플을 기반으로 각 오디오 샘플의 조건부 확률 분포를 모델링했다. 이전에는 인간 음성의 미리 녹음된 부분을 이어 붙이는 연결형 합성이 인공 음성 생성의 주된 방법이었으나, 이는 종종 분절 경계에서 눈에 띄는 인위적인 요소가 있는 기계적인 소리를 만들어냈다.
2년 후인 2018년 구글 AI의 타코트론이 등장했는데, 이는 신경망이 매우 자연스러운 음성 합성을 생성할 수 있지만 허용 가능한 품질을 달성하기 위해서는 수십 시간의 오디오와 같은 상당한 훈련 데이터가 필요하다는 것을 보여주었다. 타코트론은 입력 텍스트를 멜-스펙트로그램으로 변환하기 위해 어텐션 메커니즘이 있는 인코더-디코더 구조를 사용했으며, 이는 별도의 신경망 보코더를 사용하여 파형으로 변환되었다. 2시간 분량의 음성과 같은 더 작은 데이터셋으로 훈련했을 때는 이해 가능한 음성을 유지하면서도 출력 품질이 저하되었고, 24분의 훈련 데이터만으로는 타코트론이 이해 가능한 음성을 생성하는 데 실패했다.
2019년 마이크로소프트 리서치는 타코트론과 같은 자기회귀모형의 속도 제한을 해결한 FastSpeech를 발표했다. FastSpeech는 병렬 시퀀스 생성을 가능하게 하는 비자기회귀 구조를 활용하여 음질을 유지하면서도 추론 시간을 크게 단축했다. 길이 조절 기능이 있는 순방향 트랜스포머 네트워크를 통해 전체 멜-스펙트로그램 시퀀스의 원샷 예측이 가능해져, 이전 접근 방식의 병목이었던 순차적 종속성을 피할 수 있었다. 같은 해에 등장한 하이파이-GAN은 생성적 적대 신경망 기반 보코더로, 고품질 음성을 생성하면서도 파형 생성의 효율성을 향상시켰다. 이어서 등장한 Glow-TTS는 빠른 추론과 음성 스타일 전이 기능을 모두 가능하게 하는 흐름 기반 접근 방식을 도입했다.
중국 기술 기업들도 이 분야에 큰 기여를 했다. 바이두와 바이트댄스는 최신 기술을 더욱 발전시킨 독자적인 텍스트 음성 변환 프레임워크를 개발했으나, 구현의 구체적인 기술적 세부 사항은 대부분 공개되지 않았다.
15.ai는 2016년 개발자 15(당시 18세)가 매사추세츠 공과대학교 신입생 시절에 딥러닝 음성 합성 연구 프로젝트로 구상되었으며, MIT의 학부생 연구 기회 프로그램의 일환이었다. 개발자는 딥마인드의 웨이브넷 논문에서 영감을 받았으며, 이듬해 구글 AI가 타코트론을 발표했을 때도 연구를 계속했다. 2019년까지 개발자는 이전에 필요했던 것보다 75% 적은 훈련 데이터로 웨이브넷과 타코트론의 결과를 재현할 수 있다는 것을 MIT에서 입증했다. '15'라는 이름은 15초의 데이터만으로도 음성을 복제할 수 있다는 개발자의 주장에서 유래했다.
개발자는 원래 학부 연구를 바탕으로 박사 학위를 취득할 계획이었으나, 2019년 자신의 스타트업이 와이 콤비네이터 액셀러레이터에 선정되면서 대신 테크 산업계에서 일하기로 했다. 2020년 초 퇴사 후 개발자는 음성 합성 연구로 돌아와 이를 웹 애플리케이션으로 구현했다. 단순하고 단조로운 녹음이 포함된 LJSpeech와 같은 기존 음성 데이터셋을 사용하는 대신, 복잡한 발화 패턴과 감정적 뉘앙스를 다룰 수 있는 모델의 능력을 보여줄 수 있는 더 도전적인 음성 샘플을 찾았다. 4chan의 마이 리틀 포니 게시판인 /mlp/에서 시작된 팬 프로젝트인 포니 프리저베이션 프로젝트가 구현에 중요한 역할을 했다. 이 프로젝트의 기여자들은 마이 리틀 포니: 우정은 마법의 모든 대사를 수동으로 다듬고, 노이즈를 제거하고, 전사하고, 감정 태그를 붙였는데, 이는 당시 팬 커뮤니티 중에서는 전례가 없는 작업이었으며, 특히 이러한 작업이 자동화될 수 있기 전에 완료되었다는 점이 주목할 만하다. 이렇게 신중하게 큐레이션된 고도의 감정이 담긴 데이터셋은 15.ai의 딥러닝 모델을 훈련하는 데 이상적인 재료가 되었다.
15.ai는 2020년 3월 마이 리틀 포니: 우정은 마법과 팀 포트리스 2 등의 캐릭터를 포함한 제한된 선택의 음성으로 출시되었다. 이후 몇 달 동안 더 많은 음성이 웹사이트에 추가되었다. 2020년 말에는 딥 신경망에 다중 화자 임베딩을 구현하면서 중요한 기술적 진보가 이루어졌는데, 이를 통해 각 캐릭터 음성마다 개별 모델이 필요한 대신 여러 음성을 동시에 훈련할 수 있게 되었다. 이는 8개에서 50개 이상의 캐릭터 음성으로 빠르게 확장할 수 있게 했을 뿐만 아니라, 일부 캐릭터의 훈련 데이터에서 특정 감정이 누락되었더라도 모델이 캐릭터 간의 공통된 감정 패턴을 인식할 수 있게 했다.
2021년 초, 이 애플리케이션은 트위터와 유튜브에서 화제가 되었으며, 사람들은 인기 있는 게임과 쇼의 음성을 사용하여 짧은 극, 인터넷 밈, 팬 콘텐츠를 생성했고 이는 소셜 미디어에서 수백만 회의 조회수를 기록했다. 유튜버와 틱토커들도 성우 작업의 일부로 15.ai를 사용했다. 전성기에는 수백만 건의 일일 음성 생성을 처리하기 위한 AWS 인프라 비용으로 월 $12000 미국 달러가 발생했다. 여러 기업들이 15.ai와 그 기반 기술을 인수 제안을 했음에도 불구하고, 웹사이트는 독립성을 유지했으며 당시 23세였던 개발자의 이전 스타트업 수익으로 자금을 조달했다.
2022년 1월 14일, 비디오 게임과 애니메이션 더빙 성우 트로이 베이커가 파트너십을 발표한 Voiceverse NFT라는 회사가 마케팅 캠페인의 일환으로 15.ai에서 생성한 음성을 무단으로 사용한 것이 발견되면서 논란이 일었다. 이는 15.ai의 개발자가 2021년 12월에 자신의 작업에 NFT를 도입할 의향이 없다고 명시적으로 밝힌 직후에 발생했다. 로그 파일은 Voiceverse가 15.ai를 사용하여 마이 리틀 포니: 우정은 마법 캐릭터들의 음성을 생성한 후, 자사 플랫폼을 홍보하기 위해 원래 음성을 알아볼 수 없도록 피치를 높였다는 것을 보여주었다—이는 15.ai의 서비스 이용 약관을 위반한 것이었다.
Voiceverse는 자사의 마케팅팀이 15.ai를 적절한 출처 표기 없이 사용했다고 주장했다. 이에 대해 15는 "Go fuck yourself"라고 트윗했으며, 이 트윗은 개발자를 지지하는 수십만 건의 리트윗과 좋아요를 받으며 트위터에서 화제가 되었다. 지속적인 반발과 표절 사실이 밝혀진 후, 베이커는 "여러분은 미워할 수도 있고, 아니면 창작할 수도 있다. 어느 쪽을 선택하시겠습니까?"로 끝난 자신의 원래 발표 트윗이 "도발적이었을 수 있다"고 인정했으며, 2022년 1월 31일 Voiceverse와의 파트너십을 중단하겠다고 발표했다.
15.ai는 2022년 9월 인공지능과 저작권 관련 법적 문제로 인해 운영이 중단되었다. 개발자는 저작권 문제를 처음부터 더욱 효과적으로 해결할 수 있는 향후 버전의 가능성을 시사했으나, 2025년 현재까지 웹사이트는 비활성 상태를 유지하고 있다.
이 플랫폼은 무료로 운영되었으며, 별도의 회원 가입 없이 누구나 이용할 수 있었다. 사용자들은 텍스트를 입력한 뒤 원하는 캐릭터의 목소리를 선택하면 음성을 만들 수 있었다. 또한 감정 표현 설정과 발음 기호 입력 기능도 필요에 따라 활용할 수 있었다. 시스템은 하나의 요청당 세 가지 다른 감정이 담긴 음성을 만들어냈다. 이는 신뢰도 점수를 기준으로 정렬되어 제공되었다. 사용 가능한 캐릭터에는 팀 포트리스 2와 마이 리틀 포니: 우정은 마법의 여러 캐릭터들, 포탈 시리즈의 GLaDOS, 휘틀리, 센트리 포탑, 스폰지밥 네모바지, 허니팝의 큐 슈가더스트, 페르소나 4의 쿠지카와 리세, 다리아의 다리아 모겐도퍼와 제인 레인, 아쿠아 틴 헝거 포스의 칼 브루타나나딜루스키, 스티븐 유니버스의 스티븐 유니버스, 언더테일의 샌즈, 설레스트의 매들린과 여러 캐릭터들, 10대 닥터 후, 스탠리 패러블의 내레이터, 2001: 스페이스 오디세이의 HAL 9000 등이 있었다. 50개가 넘는 음성 중 30개가 마이 리틀 포니: 우정은 마법의 캐릭터였다. 포탈의 첼과 고든 프리맨과 같은 특정 "무음" 캐릭터들은 농담으로 선택할 수 있었으며, 텍스트를 입력하면 무음 오디오 파일을 출력했다.
이 딥러닝 모델은 매번 다른 억양으로 음성을 생성했다. 이는 마치 성우가 같은 대사를 여러 번 다르게 녹음한 것과 같은 효과를 냈다. 15.ai는 감정 표현 설정 기능을 도입했다. 이를 통해 사용자들은 안내 문구로 음성의 감정 톤을 조절할 수 있었다. 이 감정 표현 설정 기능은 MIT 미디어 랩에서 개발한 감정 분석 신경망인 DeepMoji를 활용했다. DeepMoji는 2017년에 공개된 감정 분석 시스템이다. 이 시스템은 2013년부터 2017년까지 작성된 12억 개의 트위터 글에서 이모지를 분석해 감정 표현을 학습했다. 테스트 결과 이 시스템은 인간 평가자보다 더 정확하게 풍자를 포함한 감정 요소를 식별할 수 있었다. 텍스트 입력 시 세로 막대(|)를 사용해 감정 표현을 추가할 수 있었다. 세로 막대 뒤에 입력된 내용은 음성의 감정을 결정하는 데 활용되었다. 예를 들어, Today is a great day!|I'm very sad.라고 입력하면, 선택된 캐릭터가 "I'm very sad."라고 말할 때 예상되는 감정으로 "Today is a great day!"라는 문장을 말했다.
이 애플리케이션은 옥스포드 사전 API, 위키낱말사전, CMU 발음 사전의 발음 데이터를 사용했으며, 마지막 사전은 1970년대 방위고등연구계획국이 개발한 영어 음성 전사 체계인 ARPABET를 기반으로 했다. 현대적이고 인터넷 관련 용어의 경우, 레딧, 어번 딕셔너리, 4chan, 구글을 포함한 사용자 제작 콘텐츠 웹사이트의 발음 데이터를 통합했다. ARPABET 전사도 지원되어 사용자가 잘못된 발음을 수정하거나 동철이음이의어—철자는 같지만 발음이 다른 단어—의 원하는 발음을 지정할 수 있었다. 사용자는 입력창에서 중괄호 안에 음소 문자열을 넣어 ARPABET 전사를 사용할 수 있었다(예: {AA1 R P AH0 B EH2 T}로 "ARPABET"(/ˈɑːrpəˌbɛt/)의 발음을 지정). 인터페이스는 단어의 발음 신뢰도를 색상으로 표시했다. 발음이 확실한 단어는 녹색으로, ARPABET으로 직접 입력한 발음은 파란색으로, 알고리즘이 추측한 발음은 빨간색으로 나타났다.
15.ai의 후기 버전에서는 다중 화자
출처: 15.ai (CC BY-SA)
확인된 구조화 정보, 사용자 의견, AI가 찾은 관계를 구분해 표시해요.
아직 댓글이 없어요. 먼저 한마디 남겨 보세요.