Помните да, какие классные трики можно делать с помощью Retrieval-based Voice Conversion для реального продакшена? А теперь всё стало ещё проще, потому что кто-то умный наконец додумался сделать плагин, конвертирующий вокал прямо в DAW.

Идея на самом деле лежала на поверхности. Я даже сам начал собирать для себя ReaScript, который обращается к запущенному RVC-серверу через Gradio API. Но как обычно бывает в таких случаях: кто первый встал — того и тапки.

В общем. Плагин Session Loops VocalNet делает, в сущности, то же самое. Он запускает собственный RVC-сервер со своим виртуальным окружением Python со всеми необходимыми библиотеками, а в DAW показывает простой графический интерфейс, в который можно драг-н-дропать нужные файлы. Или записывать вокал прямо в него. А потом, соответственно, перетягивать сконвертированный файл в проект. Модели голосов так же добавляются драг-н-дропом в соответствующее окно, вызываемое из настроек плагина. Скачать модели можно с тех же weights или huggingface. Ну или добавить свои. Сами модели можно хранить где-угодно. VocalNet записывает в свой файл конфигурации прямой путь до добавленных моделей.

С другой стороны, если вы уже сами обучаете собственные модели на локально установленном RVC, то смысл использовать VocalNet стремится к нулю. Разве что драг-н-дропать чуть-чуть проще. А вот из параметров конвертации есть только изменение питча. И если для определения высоты тона нет особого смысла использовать что-то кроме RMVPE модели, а в VocalNet интегрирована именно и только она, то, например, параметра для регулировки соотношения поиска черт явно не хватает. Хотя, это уже для продвинутых пользователей.

Кроме того, VocalNet хочет денег: 29 баксов за постоянную лицензию или 6 баксов в месяц подписка на бандл инструментов Session Loops. Бесплатная вечная триалка позволяет конвертировать файлы только продолжительностью до 30 секунд. Причём, в любом случае для работы необходима регистрация у Session Loops и онлайн авторизация, несмотря на то, что во всех рекламных материалах фигурирует "Fully Offline". На поверку не фулли.

Плагин VocalNet существует в предварительно сконфигурированных версиях для работы на CPU, GPU и нейро-ядрах Apple Silicon. Версия для CPU работает в режиме конвертации только файлов до 30 секунд всегда. Видимо, потому что не только лишь все пользователи понимают, что на CPU ML-модели работают ОООООЧЕНЬ медленно.

Резюмируя. Для тех, кому лень разбираться с опенсорсом, устанавливать Python и руками настраивать окружения для запуска оригинального RVC ради того чтобы побаловаться нейрокаверами с голосами звёзд или побыстрому нагенерить бэков — Session Loops VocalNet отличный вариант. Для более сложных задач с генеративными голосами лучше всё же разобраться с оригинальной RVC. Это не так уж и сложно на самом деле.

Лично я остаюсь на RVC, удаляю VocalNet чтоб не захламлял комп (4,6 Гб по современным меркам не много, но всё же), и продолжаю допиливать собственный скрипт. Обязательно им поделюсь, когда буду уверен что показывать такое не стыдно. 😅

Кип ин тач. 🤝
Всем звук. ✊

Теперь все культовые педали BOSS и комбарь Jazz Chorus есть в формате VST и входят в подписку Roland Cloud Ultimate.

Балдёж! 🤗