통합공지

공지

잡담

스케줄

콘텐츠추천

팬아트

유머

로에영상

영상

일기

로소리

정보

클립

요리

로이봤

요지경

콘텐츠

카소리

이벤트

당첨자

음악추천

사또밥

건의사항

콘서트

고래밥

오타쿠

요거봐봐

일기장

알송

알밥

플로리스 로에

요나

에피오네 나시아

아스테리 에프타

쿠로가미 사샤

티그리스 카닌

코오리 세라

루비엘

라니에

무뉴뉴

정성추 👍👍💚💚 저는 직접 들어서 그런지 제 목소리랑 하나두 안 닮은 것 같은데 다른 분들은 비슷하게 느끼시려나? AI커버 넘 재밌는데 다음편도 기대할게요 ㅋㅋㅋㅋ 감사합니다!!!!

로에

캬 고생 많으셨어요 👍
노래 대부분에서 언뜻 느껴지는 로에님의 느낌이 좋네요. 조금 더 다듬어지면 더 비슷해질듯

내가 오타쿠도 아니고 콘서트까지 가서 응원을 할 수 있을 리가 없잖아 무리무리! ※무리가 아니었다!?

무리무리!

김소냐

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%95%84%EC%9E%90%EB%9D%BC%EC%8B%9C+%ED%95%98%ED%91%B8/%ED%95%98%ED%91%B8%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%ED%94%8C%EB%A1%9C%EB%A6%AC%EC%8A%A4+%EB%A1%9C%EC%97%90/%EB%A1%9C%EC%97%90%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%84%A0%ED%83%9D.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%9A%94%EB%82%98/%EC%9A%94%EB%82%98%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%84%A0%ED%83%9D.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%97%90%ED%94%BC%EC%98%A4%EB%84%A4+%EB%82%98%EC%8B%9C%EC%95%84/%EB%82%98%EC%8B%9C%EC%95%84%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%95%84%EC%8A%A4%ED%85%8C%EB%A6%AC+%EC%97%90%ED%94%84%ED%83%80/%EC%97%90%ED%94%84%ED%83%80%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%BF%A0%EB%A1%9C%EA%B0%80%EB%AF%B8+%EC%82%AC%EC%83%A4/%EC%BF%A0%EB%A1%9C%EA%B0%80%EB%AF%B8+%EC%82%AC%EC%83%A4%EB%8B%98+%EC%BB%A4%EC%84%9C_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%ED%8B%B0%EA%B7%B8%EB%A6%AC%EC%8A%A4+%EC%B9%B4%EB%8B%8C/%ED%8B%B0%EA%B7%B8%EB%A6%AC%EC%8A%A4+%EC%B9%B4%EB%8B%8C%EB%8B%98+%EC%BB%A4%EC%84%9C_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%BD%94%EC%98%A4%EB%A6%AC+%EC%84%B8%EB%9D%BC/%EC%BD%94%EC%98%A4%EB%A6%AC+%EC%84%B8%EB%9D%BC%EB%8B%98+%EC%BB%A4%EC%84%9C_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EB%A3%A8%EB%B9%84%EC%97%98/%EB%A3%A8%EB%B9%84%EC%97%98%EB%8B%98+%EC%BB%A4%EC%84%9C_%ED%85%8D%EC%8A%A4%ED%8A%B8%EC%84%A0%ED%83%9D.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EB%9D%BC%EB%8B%88%EC%97%90/%EB%9D%BC%EB%8B%88%EC%97%90%EB%8B%98+%EC%BB%A4%EC%84%9C_%ED%85%8D%EC%8A%A4%ED%8A%B8%EC%84%A0%ED%83%9D.cur

<img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1694281937845_1694281935553.png" style="width: 600px;" class="fr-fic fr-dib">로에가 없다면, 만들면 돼....!!!! 로에님 심심할 것 같기도 하고 목소리가 그리워 몇 곡 뽑아보았습니다. <table style="width: 100%;"><tbody><tr><td style="width: 50.0000%;">Source</td><td style="width: 50.0000%;">Target</td></tr><tr><td style="width: 50%; text-align: center;"><img data-fr-image-pasted="true" src="https://i.namu.wiki/i/UxGwXJVMjX9pRqy4D4Vdlu23B59upPkjAGfdHmzQHBCiRJtJk8lLXA12J6HUgq8FfsHbrr8E4fepH5uNt0cetlMxy8juAicEcpDzVbSycCf12-Pg6KGk5N5-0ShmlIziRfSmYmuq9pnwi3m6NL8r3A.webp" style="width: 600px;" class="fr-fic fr-dib">隣に... - 三浦 あずさ</td><td style="width: 50.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1694285102201_é£ã«.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr><tr><td style="width: 50%; text-align: center;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1694285189006_1694285185810.png" style="width: 600px;" class="fr-fic fr-dib">サラマンダー Mori Calliope</td><td style="width: 50.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1694285212533_salamander.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr><tr><td style="width: 50%; text-align: center;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1694285307807_1694285305556.png" style="width: 600px;" class="fr-fic fr-dib">シネマ - kotoha</td><td style="width: 50.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1694285327635_ã·ãã.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr><tr><td style="width: 50.0000%;"> </td><td style="width: 50.0000%;"> </td></tr></tbody></table> 작업을 여러 개 해둬서 앞으로 며칠간 업로드할 계획입니다. (게시판 제한 10MB 너무 빡셉니다...)모든 파일은 128kbps mp3 형식으로 압축하였습니다.&nbsp;를 다시 mp4로 변환해야 업로드 가능...&nbsp;(게시판에 음원 재생 기능도 추가되었으면 합니다.) 로에님이 &quot;곁에서&quot;를 만들어줬으면 좋겠다던&nbsp;발언이 있다는 것을 뒤늦게 알아, 이번 기회에 시도해 보았습니다.그때 무슨 곡해 달라는지 찾으려고 다시보기 전수 조사함 ㅠㅠ 아래는 아무도 관심 없을 실험 관련 내용 (누군가는 궁금해할까 봐)<ol><li style="box-sizing: border-box; margin-top: 1em; margin-right: 0px; margin-bottom: 1em;">예전에 잘란 듯 이런저런 복잡한 그림이랑 같이 게시한 적이 있었습니다. 사실 그때 업로드도 급하고 귀찮아서 모델에 대해 깊이 공부를 안 했었습니다. 겉만 번지르르한 글이었던 거죠. 코드를 뜯어보고 원문도 공부해 보니, 생각한 것과 많이 다르게 동작했습니다. 기존 VITS 모델 앞의 Text-encoder를 HuBert로 대체하여 텍스트 대신&nbsp;소스 음원으로부터&nbsp;언어정보를(흔히 PPG라고 불리는) 추출하는 모델입니다. 이러한 구조 때문에&nbsp;음성변환보단 합성 모델에 가깝습니다.&nbsp;중요한 것은 한 타겟 화자만 학습하면 여러 소스 음성으로부터 타겟 음성을 합성해낼 수 있는 것입니다. (이미 HuBert가 수백수천 명의 음성데이터로부터 언어정보 추출을 배웠기 때문에...) 아무튼 재학습 필요 없다고 생각하니 로에님 곡을 마구 찍어낼 수 있다는 사실을 알아서 이렇게 몇 곡 개시합니다.</li><li style="box-sizing: border-box; margin-top: 1em; margin-right: 0px; margin-bottom: 1em;">pretrained 된 HuBert는 대체로 중국어 음원을 기반으로 fine-tune 되었기 때문에 가끔 중국어 억양이 섞이는 것이 의심됩니다. pretrain에는 대체로 weibo나 bilibili에서 제공했기에 일본어 음원도(보컬은 중국인) 꽤 많았을 것으로 추정됩니다.(실제로 일어가 꽤 잘 되기도 하고) HuBert를 추가 학습할 만한 컴퓨팅 파워가 있다면 한국어도 자연스럽게 되도록 시도할 수 있을 것입니다.</li><li style="box-sizing: border-box; margin-top: 1em; margin-right: 0px; margin-bottom: 1em;">가끔 이상하게 튀는 구간들이 있는데 아마도 pitch가 극도로 낮거나 높으면 모델이 잘 inference하지 못하는 듯합니다. 실제로 pitch predictor가 사용되는지 면밀히 코드를 살피지는 않았으나 유력히 의심됩니다. 귀찮아서 고치지는 않겠지만...</li></ol> PS1. 모르는 사이에 AI 커버 관련 게시판 규정이 생겼더군요. 개인적으로는 소스보다는 타겟 화자의 동의가 더 중요하다고 생각합니다만, 아무튼 소스 화자 및 곡을 명시만 하면 문제가 없다고 합니다. (적어도 브이리지에서는) 윤리관은 더 말했다가 염상 날 수도 있으니까 이 정도만...PS. 글 쓰다 알아차린 사실인데, 게시글 라인이 늘어날수록 사이트 배경도 확대되네요? 변환 실험 상세 및 윤리 성명은 아래 링크를 참조 <a href="https://v-llage.com/posts/17817" style='box-sizing: border-box; color: inherit; text-decoration: underline; cursor: url("https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%ED%94%8C%EB%A1%9C%EB%A6%AC%EC%8A%A4+%EB%A1%9C%EC%97%90/%EB%A1%9C%EC%97%90%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%84%A0%ED%83%9D.cur"), pointer; background-color: transparent;'>https://v-llage.com/posts/17817</a><br style="box-sizing: border-box; color: rgb(37, 37, 43); font-family: Pretendard, sans-serif; font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; white-space: normal; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial;">