통합공지

공지

잡담

스케줄

콘텐츠추천

팬아트

유머

로에영상

영상

일기

로소리

정보

클립

요리

로이봤

요지경

콘텐츠

카소리

이벤트

에이봤

나이봤

세이봤

무이봤

치이봤

키이봤

당첨자

플로리스 로에

요나

아스테리 에프타

쿠로가미 사샤

티그리스 카닌

코오리 세라

무뉴뉴

치로

키지

와... 이분 AI 전공을 따로 들으셨나요?
기본적인 구성부터 상당히 정성히 들어갔네요... 기본적으로 음원 보컬을 타겟음성으로 변환하는거라 로에쿤이 평소에 자주 나오지 않는 남성 음역대의 구성의 경우에는 음성을 따라가려니까 미묘한 느낌이 좀 생기는 것 같네요. 반대로 평소에 자주 나오는 여성 음역대의 경우에는 변환이 얼추 자연스러운 느낌이 드네요. 엄청나게 신기합니다! 😮

내가 오타쿠도 아니고 콘서트까지 가서 응원을 할 수 있을 리가 없잖아 무리무리! ※무리가 아니었다!?

무리무리!

김소냐

논문을 여기에 쓰시면 어떻게해요 교수님

만점왕

buildwater0001

유클리드

완전 신기하네요 ㄷㄷ
아이돌은 진짜 뭔가 좋은데 로에님 특유의 느낌이 사라지니까 어색해서 색다른 느낌이에요 ㅋㅋㅋㅋ

균열점 이벤트에 참여하여 포탈을 지켜준 용사

균열점의 수호자

제이엠피

정말 위대합니다!! 선생!!!
AI기술이 진짜 대단하긴하네요..
저도 시간날때마다 조금씩 공부해봐야겠어요...
좋은정보 감사합니다!!!

꾸안타

마스탕

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%95%84%EC%9E%90%EB%9D%BC%EC%8B%9C+%ED%95%98%ED%91%B8/%ED%95%98%ED%91%B8%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%ED%94%8C%EB%A1%9C%EB%A6%AC%EC%8A%A4+%EB%A1%9C%EC%97%90/%EB%A1%9C%EC%97%90%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%84%A0%ED%83%9D.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%9A%94%EB%82%98/%EC%9A%94%EB%82%98%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%84%A0%ED%83%9D.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%97%90%ED%94%BC%EC%98%A4%EB%84%A4+%EB%82%98%EC%8B%9C%EC%95%84/%EB%82%98%EC%8B%9C%EC%95%84%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%95%84%EC%8A%A4%ED%85%8C%EB%A6%AC+%EC%97%90%ED%94%84%ED%83%80/%EC%97%90%ED%94%84%ED%83%80%EB%8B%98+%EC%BB%A4%EC%84%9C+%EB%B0%B0%ED%8F%AC%EC%9A%A9_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%BF%A0%EB%A1%9C%EA%B0%80%EB%AF%B8+%EC%82%AC%EC%83%A4/%EC%BF%A0%EB%A1%9C%EA%B0%80%EB%AF%B8+%EC%82%AC%EC%83%A4%EB%8B%98+%EC%BB%A4%EC%84%9C_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%ED%8B%B0%EA%B7%B8%EB%A6%AC%EC%8A%A4+%EC%B9%B4%EB%8B%8C/%ED%8B%B0%EA%B7%B8%EB%A6%AC%EC%8A%A4+%EC%B9%B4%EB%8B%8C%EB%8B%98+%EC%BB%A4%EC%84%9C_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%BD%94%EC%98%A4%EB%A6%AC+%EC%84%B8%EB%9D%BC/%EC%BD%94%EC%98%A4%EB%A6%AC+%EC%84%B8%EB%9D%BC%EB%8B%98+%EC%BB%A4%EC%84%9C_%EC%9E%85%EB%A0%A5.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EB%A3%A8%EB%B9%84%EC%97%98/%EB%A3%A8%EB%B9%84%EC%97%98%EB%8B%98+%EC%BB%A4%EC%84%9C_%ED%85%8D%EC%8A%A4%ED%8A%B8%EC%84%A0%ED%83%9D.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EB%9D%BC%EB%8B%88%EC%97%90/%EB%9D%BC%EB%8B%88%EC%97%90%EB%8B%98+%EC%BB%A4%EC%84%9C_%ED%85%8D%EC%8A%A4%ED%8A%B8%EC%84%A0%ED%83%9D.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EB%AC%B4%EB%89%B4%EB%89%B4/%E1%84%86%E1%85%AE%E1%84%82%E1%85%B2%E1%84%82%E1%85%B2%E1%84%82%E1%85%B5%E1%86%B7+%E1%84%8F%E1%85%A5%E1%84%89%E1%85%A5_%E1%84%90%E1%85%A6%E1%86%A8%E1%84%89%E1%85%B3%E1%84%90%E1%85%B3%E1%84%89%E1%85%A5%E1%86%AB%E1%84%90%E1%85%A2%E1%86%A8.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%EC%B9%98%EB%A1%9C/%E1%84%8E%E1%85%B5%E1%84%85%E1%85%A9%E1%84%82%E1%85%B5%E1%86%B7+%E1%84%8F%E1%85%A5%E1%84%89%E1%85%A5_%E1%84%90%E1%85%A6%E1%86%A8%E1%84%89%E1%85%B3%E1%84%90%E1%85%B3%E1%84%89%E1%85%A5%E1%86%AB%E1%84%90%E1%85%A2%E1%86%A8.cur

https://v-llage.s3.ap-northeast-2.amazonaws.com/%EB%A7%88%EC%9A%B0%EC%8A%A4+%EC%BB%A4%EC%84%9C/%ED%82%A4%EC%A7%80/%E1%84%8F%E1%85%B5%E1%84%8C%E1%85%B5%E1%84%82%E1%85%B5%E1%86%B7+%E1%84%8F%E1%85%A5%E1%84%89%E1%85%A5_%E1%84%90%E1%85%A6%E1%86%A8%E1%84%89%E1%85%B3%E1%84%90%E1%85%B3%E1%84%89%E1%85%A5%E1%86%AB%E1%84%90%E1%85%A2%E1%86%A8.cur

1. AbstractVITS 음성합성 모델을 기반으로하는 음성 변환을 이용하여, 4개의 화자 데이터를 수집하여 음악 음원의 보컬을 타켓 음성으로 변환하는 실험을 수행하였습니다.2. Overview <img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686048518208_1686048517942.png" style="width: 600px;" class="fr-fic fr-dib">VITS(Variational Inference with adversarial learning for end-to-end text-to-speech)[1] 음성 합성 모델을 기반으로 한 음악 보컬 변환 오픈소스 프로젝트[2]를 이용하여 음성 변환 실험을 진행하였습니다. 본 실험은 pretrain된 모델을 수집된 데이터로 finetune 하여 만들었습니다. 해당 실험의 데이터는 유튜브 영상 음원을 추출하여 편집 및 음원 분리[3] 과정을 통해 얻어진 데이터를 기반으로 수행되었습니다. 각 화자 별 데이터는 Loe 2.20h, Ikura 2.03h, Imase 0.61h 그리고 queen&nbsp;0.43h을 사용하였습니다.3. Youtube sample<table style="width: 100%;"><tbody><tr><td style="width: 25.0000%;">sing</td><td style="width: 25.0000%;">Source</td><td style="width: 25.0000%;">Target</td><td style="width: 25.0000%;">so-vits-svc</td></tr><tr><td style="width: 25.0000%;">YOASOBI - IDOL </td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686045917080_1686045916902.png" style="width: 100px;" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686045847862_1686045847687.png" style="width: 100px;" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1686046554855_[ZRtdQ81jPUQ]_i2l_firsttake_1min_clip.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr><tr><td style="width: 25.0000%;">YOASOBI - 祝福</td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686045925305_1686045925125.png" style="box-sizing: border-box; max-width: 100%; cursor: pointer; padding: 0px 1px; user-select: none; color: rgb(65, 65, 65); font-family: sans-serif; font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial; width: 100px;" id="isPasted" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686045866375_1686045866212.png" style="box-sizing: border-box; max-width: 100%; cursor: pointer; padding: 0px 1px; user-select: none; color: rgb(65, 65, 65); font-family: sans-serif; font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial; width: 100px;" id="isPasted" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1686046627455_[3eytpBOkOFA]_ikura2loe_1min_clip.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr><tr><td style="width: 25.0000%;">IMASE - NIGHT DANCER</td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686045969481_1686045969278.png" style="width: 100px;" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686045871185_1686045871028.png" style="box-sizing: border-box; max-width: 100%; cursor: pointer; padding: 0px 1px; user-select: none; color: rgb(65, 65, 65); font-family: sans-serif; font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial; width: 100px;" id="isPasted" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1686046753742_[QbHBfxAOucI]_imase2loe_firsttake_1min_clip.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr><tr><td style="width: 25.0000%;">Queen - hammer to fall</td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686046100996_1686046100787.png" style="width: 100px;" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686045872755_1686045872593.png" style="box-sizing: border-box; max-width: 100%; cursor: pointer; padding: 0px 1px; user-select: none; color: rgb(65, 65, 65); font-family: sans-serif; font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial; width: 100px;" id="isPasted" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1686046775078_[D5bzrb-v9Y0]_q2loe_firsttake_1min_clip.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr><tr><td style="width: 25.0000%;">Queen - Don&#39;t stop me now</td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686099522142_1686099520380.png" style="box-sizing: border-box; max-width: 100%; cursor: pointer; padding: 0px 1px; user-select: none; color: rgb(65, 65, 65); font-family: sans-serif; font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial; width: 100px;" id="isPasted" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"><img src="https://v-llage.s3.ap-northeast-2.amazonaws.com/image/1686099521215_1686099519036.png" style="box-sizing: border-box; max-width: 100%; cursor: pointer; padding: 0px 1px; user-select: none; color: rgb(65, 65, 65); font-family: sans-serif; font-size: 14px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial; background-color: rgb(255, 255, 255); width: 100px;" id="isPasted" class="fr-fic fr-dib"></td><td style="width: 25.0000%;"> <video class="fr-draggable" controls="" src="https://v-llage.s3.ap-northeast-2.amazonaws.com/video/1686099548934_[HZ]_q2l.mp4" style="width: 600px;">Your browser does not support HTML5 video.</video></td></tr></tbody></table>4. Ethics statementVITS 모델은 화자 신원을 유지하는 음성을 합성할 수 있기 때문에 음성 식별을 스푸핑 하거나 특정 화자를 사칭하는 등 모델을 오용할 경우 잠재적인 위험을 수반할 수 있습니다. 본 실험은 1. 음성 합성 모델의 목표 화자가 되는 것에 동의 그리고 2. 제 3자에 제공에 대한 동의&nbsp;하에서만 &quot;학습 모델을 외부로 공개 또는 공유 한다&quot;는 가정하에&nbsp;실험을 진행했습니다. 또한 목표 화자의 요청이 있는 경우 학습 모델 및 관련 데이터는 즉각 파기 할 수 있습니다.5. Discussion[1]의 저자들이 주장 한바와 같이 posterior 인코더와 디코더 만으로 음성변환이 잘 되는 것으로 보입니다. 상대적으로 low resource로 진행된 Imase와 Queen은의 결과물은 Ikura에 비해 언어적 정보가 많이 손실 되는 것을 볼 수 있습니다. 적은 데이터에 비해서 queen의 곡이 imase에 비해 상대적으로 더 자연스로워 보입니다. 이는 실험에 사용한 ContentVec 모델이 영어 기반 데이터를 많이 포함하여 Queen의 결과물이 좀 더 자연스러웠던 것으로 보입니다. 지금 까지 확인된 바 최소 2시간 분량 데이터를 확보해야지 품질을 보장할 수 있습니다.6. Reference[1] Kim, Jaehyeon, Jungil Kong, and Juhee Son. &quot;Conditional variational autoencoder with adversarial learning for end-to-end text-to-speech.&quot; International Conference on Machine Learning. PMLR, 2021. [2]&nbsp;<a data-fr-linked="true" href="https://github.com/svc-develop-team/so-vits-svc.git" style="background-color: transparent;">https://github.com/svc-develop-team/so-vits-svc.git</a> [3] <a href="https://github.com/Anjok07/ultimatevocalremovergui" id="isPasted">https://github.com/Anjok07/ultimatevocalremovergui</a>

공겜 치트키

2023년 신년계획 이벤트에 참여한 유저