Probé Machine Learning Spleeter. (Explicación de cómo usar)

Probé Machine Learning Spleeter. (Explicación de cómo usar)

Soy yosi, el administrador de Chillout con Beats.

Probé Spleeter, que se ha convertido en un tema candente en las calles.

Debido a la CLI (línea de comando), el nivel de dificultad es alto.

¿Línea de comando qué?Si no lo entiendes, no te lo recomiendo.

Por el momento, escuche los resultados de la canción de demostración.

Esto es increíble.

datos originales

Datos vocales extraídos

Datos que no sean voces

Descripción general de Spleeter

Aunque no es un tema muy conocido, el tema de la separación de fuentes ha sido de interés para una gran comunidad de investigadores de señales musicales durante décadas.Comienza con una simple observación.Las grabaciones de música suelen ser una mezcla de varias pistas de instrumentos individuales (voz principal, batería, bajo, piano, etc.).Las tareas para separar fuentes de música son:Dada la mezcla, ¿pueden restaurarse estas pistas individuales (también conocidas como stems)? Esto tiene muchos usos potenciales.Considere el preprocesamiento para otras tareas, como la remezcla, la mezcla, la escucha activa, los fines educativos y la transcripción.

Curiosamente, nuestro cerebro es muy bueno separando instrumentos musicales.Solo concéntrate en uno de los instrumentos de esta pista (por ejemplo, la voz principal) y escucharás algo completamente diferente a los demás.Pero no es realmente una separación, todavía escuchas todas las otras partes.En muchos casos, puede que no sea posible recuperar con precisión las pistas individuales mezcladas.Por lo tanto, el desafío es aproximarlos lo más posible.En otras palabras, intente acercarse lo más posible al original sin crear una distorsión excesiva.

A lo largo de los años, docenas de grandes equipos de investigación de todo el mundo han estudiado muchas estrategias.Si está interesado en este fascinante viaje, lea la descripción general de este artículo o léalo.El ritmo del progreso reciente ha dado un gran salto, principalmente debido a los avances en los métodos de aprendizaje automático.Para realizar un seguimiento, las personas comparan algoritmos en campañas internacionales de calificación.Esto muestra que el rendimiento de Spleeter coincide con el rendimiento del algoritmo óptimo propuesto.
Además, Spleeter es muy rápido. Si está ejecutando la versión GPU, puede esperar aislar 100 veces más rápido que en tiempo real, lo que lo hace adecuado para procesar grandes conjuntos de datos.

Cómo instalar Spleeter

El primero es el lugar para obtener información.

La historia principal en la página oficial es "Spleeter".

Preferencias más espléndidas

Para ejecutar Spleeter, primero debe preparar el entorno.

Descargar e instalar Miniconda

Conda es probablemente el más fácil, así queminicondaIntroducir.

Creo que la instalación predeterminada está bien.

Instalar Git

Necesita un cliente Git, así que descárguelo e instálelo.

Creo que la instalación predeterminada está bien.

Instalar Spleter

Para Windows, inicie "Anaconda Prompt" desde el menú de inicio.

Una vez iniciado, copie y pegue los siguientes comandos línea por línea.

Comprobación del funcionamiento de Spleeter utilizando la fuente de sonido de demostración

cd spleeter python -m separado -h

Si puede instalarlo sin ningún problema, se mostrará la siguiente ayuda (solo se describe una parte).

Exportar a 2 tallos

python -m spleeter por separado -i audio_example.mp3 -o audio_output

El archivo se almacena en la carpeta "audio_output \ audio_example".

Lo intenté dos veces, pero la primera vez solo obtengo "vocals.wav" con las voces extraídas.

Si vuelve a ejecutar el comando (utilice la tecla superior del teclado para retroceder en el historial del comando), se generará.

También se emite "Accompaniment.wav" que no sea la voz.

Exportar a 4 tallos

spleeter separa -i audio_example.mp3 -o audio_output -p spleeter: 4stems

Si tiene éxito, se exportarán 4 archivos como se muestra a continuación.

INFO: spleeter: Archivo salida_audio \ audio_ejemplo \ bass.wav escrito INFO: spleeter: Archivo audio_salida \ audio_ejemplo \ vocals.wav escrito INFO: spleeter: Archivo audio_salida \ audio_ejemplo \ drums.wav escrito INFO: spleeter: Archivo audio_salida \ audio_ejemplo \ otro. wav escrito

Puede especificar cuántos dividir con "-p". Actualmente, se admiten los siguientes 3 tipos.

• spleeter:2stems（ボーカル、その他）
• spleeter:4stems（ボーカル、ベース、ドラム、その他)
• spleeter:5stems（ボーカル、ベース、ドラム、ピアノ、その他)

Use Spleeter para su propia fuente de sonido

Si quieres disfrutarlo por ti mismo, creo que estuvo bien extraer solo las voces de la fuente de sonido que extrajiste tú mismo. (Cuidado que si lo subes a la red se va a salir)

Voy a describir sólo cómo hacerlo.

Primero, copie el archivo que preparó al mismo nivel que "audio_example.mp3".

Todo lo que tiene que hacer ahora es cambiar el comando "audio_example.mp3" al nombre del archivo que preparó.

spleeter separar -i audio_example.mp3 -o audio_output

Lo probé en japonés, pero funcionó.

Me sorprende que se pueda extraer muy bien.

Si obtiene un error, puede funcionar si lo cambia a alfanuméricos.

Probé Machine Learning Spleeter. (Explicación de cómo usar) Resumen

Es una gran tecnología.

Además, si tienes un tallo, puedes aprender más.

Esto es una conjetura, pero en la actualidad parece que hay poco aprendizaje de la voz japonesa.

Si aprende de un CD de karaoke, etc., puede ser posible extraerlo con una precisión considerable.

Además, dado que este software se puede utilizar de forma gratuita, existe una gran posibilidad de que en el futuro surjan aplicaciones con GUI incluida que utilicen esta tecnología.

De repente pensé que sería increíble si esta tecnología y la tecnología de Dialogue Match de iZotope lanzada el otro día se fusionaran.