Я попробовал машинное обучение Spleeter. (Объяснение как пользоваться)

Я попробовал машинное обучение Spleeter. (Объяснение как пользоваться)

Я Йоси, администратор Chillout with Beats.

Я попробовал Spleeter, который стал горячей темой на улицах.

Из-за CLI (командной строки) уровень сложности высокий.

Командная строка что?Если вы не понимаете, я не рекомендую это.

А пока, пожалуйста, послушайте результаты демо-песни.

Это потрясающе.

исходные данные

Извлеченные вокальные данные

Данные, кроме вокала

Обзор Сплитера

Хотя это и не очень известная тема, проблема разделения источников интересовала большое сообщество исследователей музыкальных сигналов на протяжении десятилетий.Он начинается с простого наблюдения.Музыкальные записи обычно представляют собой микс из нескольких треков отдельных инструментов (ведущий вокал, ударные, бас, фортепиано и т. д.).Задачи разделения музыкальных источников:Учитывая микс, можно ли восстановить эти отдельные треки (также известные как стемы)?У этого есть много потенциальных применений.Рассмотрите предварительную обработку для других задач, таких как ремикширование, микширование, активное прослушивание, образовательные цели, а также транскрипция.

Интересно, что наш мозг очень хорошо различает музыкальные инструменты.Просто сосредоточьтесь на одном из инструментов на этом треке (например, на вокале), и вы услышите что-то совершенно отличное от других.Но это не совсем разделение, вы все равно слышите все остальные части.Во многих случаях может оказаться невозможным точно восстановить отдельные треки, смешанные вместе.Поэтому задача состоит в том, чтобы приблизить их как можно точнее.Другими словами, постарайтесь максимально приблизиться к оригиналу, не создавая чрезмерных искажений.

За прошедшие годы многие стратегии были изучены десятками великих исследовательских групп по всему миру.Если вам интересно это увлекательное путешествие, пожалуйста, ознакомьтесь с обзором этой статьи или прочтите ее.Темпы недавнего прогресса резко возросли, в основном благодаря достижениям в области методов машинного обучения.Чтобы отслеживать, люди сравнивают алгоритмы в международных рейтинговых кампаниях.Это показывает, что производительность Spleeter соответствует производительности предложенного оптимального алгоритма.
Кроме того, Spleeter очень быстр. Если вы используете версию с графическим процессором, вы можете рассчитывать на изоляцию в 100 раз быстрее, чем в режиме реального времени, что делает ее пригодной для обработки больших наборов данных.

Как установить Сплитер

Во-первых, это место для получения информации.

Основной сюжет на официальной странице — «Сплитер».

Настройки сплитера

Для запуска Spleeter сначала нужно подготовить окружение.

Скачайте и установите Миниконду

Conda, вероятно, самый простой, поэтомуминикондаВводить.

Я думаю, что установка по умолчанию в порядке.

Установить Гит

Вам нужен клиент Git, так что скачайте и установите его.

Я думаю, что установка по умолчанию в порядке.

Установить Сплитер

В Windows запустите «Anaconda Prompt» из меню «Пуск».

После запуска скопируйте и вставьте следующие команды построчно.

Проверка работы Spleeter с использованием демо-источника звука

cd spleeter python -m отдельный -h

Если вы можете установить его без каких-либо проблем, будет отображаться следующая помощь (описана только часть).

Экспорт в 2стем

python -m spleeter отдельный -i audio_example.mp3 -o audio_output

Файл хранится в папке "audio_output\audio_example".

Я пробовал это дважды, но в первый раз я получаю только "vocals.wav" с извлеченным вокалом.

Если вы выполните команду еще раз (используйте верхнюю клавишу на клавиатуре, чтобы вернуться в историю команды), она будет выведена.

Также выводится «Accompaniment.wav», кроме вокала.

Экспорт в 4стем

spleeter отдельный -i audio_example.mp3 -o audio_output -p spleeter: 4stems

В случае успеха будут экспортированы 4 файла, как показано ниже.

ИНФО: сплитер: Файл аудио_выход\аудио_пример\bass.wav написано ИНФО: сплитер: Файл аудио_выход\аудио_пример\vocals.wav написано ИНФО: сплитер: Файл аудио_выход\аудио_пример\drums.wav записан ИНФО: сплитер: Файл аудио_выход\аудио_пример\другое. wav написано

Вы можете указать, на сколько разделить с помощью "-p".В настоящее время поддерживаются следующие 3 типа.

• spleeter:2stems（ボーカル、その他）
• spleeter:4stems（ボーカル、ベース、ドラム、その他)
• spleeter:5stems（ボーカル、ベース、ドラム、ピアノ、その他)

Используйте Spleeter для собственного источника звука

Если вы хотите насладиться этим для себя, я думаю, что было бы нормально извлечь только вокал из источника звука, который вы скопировали сами. (Будьте осторожны, если вы загрузите его в сеть, он исчезнет)

Опишу только как это сделать.

Сначала скопируйте подготовленный файл на тот же уровень, что и «audio_example.mp3».

Все, что вам нужно сделать сейчас, это изменить команду «audio_example.mp3» на имя файла, который вы подготовили.

раздельное разделение -i audio_example.mp3 -o audio_output

Пробовал на японском, но получилось.

Я удивлен, что это может быть извлечено довольно красиво.

Если вы получите сообщение об ошибке, это может сработать, если вы измените его на буквенно-цифровой.

Я попробовал машинное обучение Spleeter. (Объяснение использования) Резюме

Это отличная технология.

Более того, если у вас есть стебель, вы можете узнать больше.

Это предположение, но в настоящее время кажется, что японская озвучка мало изучена.

Если вы учитесь с компакт-диска караоке и т. д., вы можете извлечь его со значительной точностью.

Кроме того, поскольку это программное обеспечение можно использовать бесплатно, существует высокая вероятность того, что в будущем появятся приложения с графическим интерфейсом, использующие эту технологию.

Я вдруг подумал, что было бы потрясающе, если бы эта технология была слита с технологией выпущенного на днях Dialogue Match от iZotope.