Ich habe Machine Learning Spleeter ausprobiert. (Erklärung zur Verwendung)

Ich habe Machine Learning Spleeter ausprobiert. (Erklärung zur Verwendung)

Ich bin Yosi, der Administrator von Chillout with Beats.

Ich habe Spleeter ausprobiert, das auf den Straßen zu einem heißen Thema geworden ist.

Aufgrund der CLI (Befehlszeile) ist der Schwierigkeitsgrad hoch.

Befehlszeile was?Wenn Sie es nicht verstehen, empfehle ich es nicht.

Bitte hören Sie sich vorerst die Ergebnisse des Demosongs an.

Das ist großartig.

Originale Daten

Extrahierte Stimmdaten

Andere Daten als Gesang

Überblick über Spleeter

Obwohl kein bekanntes Thema, ist das Thema Quellentrennung seit Jahrzehnten für eine große Gemeinschaft von Musiksignalforschern von Interesse.Es beginnt mit einer einfachen Beobachtung.Musikaufnahmen sind normalerweise eine Mischung aus mehreren einzelnen Instrumentenspuren (Lead-Gesang, Schlagzeug, Bass, Klavier usw.).Die Aufgaben zum Trennen von Musikquellen sind:Können diese einzelnen Spuren (auch Stems genannt) angesichts des Mixes wiederhergestellt werden?Dies hat viele Anwendungsmöglichkeiten.Erwägen Sie die Vorverarbeitung für andere Aufgaben wie Remixing, Upmixing, aktives Zuhören, Bildungszwecke sowie Transkription.

Interessanterweise ist unser Gehirn sehr gut darin, Musikinstrumente zu trennen.Konzentrieren Sie sich einfach auf eines der Instrumente in diesem Track (z. B. Lead-Vocals) und Sie hören etwas völlig anderes als die anderen.Aber es ist nicht wirklich eine Trennung, man hört immer noch alle anderen Teile.In vielen Fällen ist es möglicherweise nicht möglich, die einzelnen zusammengemischten Titel genau wiederherzustellen.Daher besteht die Herausforderung darin, sie so genau wie möglich anzunähern.Mit anderen Worten, versuchen Sie, dem Original so nahe wie möglich zu kommen, ohne übermäßige Verzerrungen zu erzeugen.

Im Laufe der Jahre wurden viele Strategien von Dutzenden großartiger Forschungsteams auf der ganzen Welt untersucht.Wenn Sie an dieser faszinierenden Reise interessiert sind, lesen Sie bitte die Übersicht zu diesem Artikel oder lesen Sie ihn.Das Tempo der jüngsten Fortschritte hat einen großen Sprung gemacht, hauptsächlich aufgrund der Fortschritte bei den Methoden des maschinellen Lernens.Um den Überblick zu behalten, werden Algorithmen in internationalen Bewertungskampagnen verglichen.Dies zeigt, dass die Leistung von Spleeter mit der Leistung des vorgeschlagenen optimalen Algorithmus übereinstimmt.
Außerdem ist Spleeter sehr schnell. Wenn Sie die GPU-Version ausführen, können Sie damit rechnen, 100-mal schneller als in Echtzeit zu isolieren, was sie für die Verarbeitung großer Datensätze geeignet macht.

So installieren Sie Spleeter

Zuerst ist der Ort, um Informationen zu erhalten.

Die Hauptgeschichte auf der offiziellen Seite ist "Spleeter".

Spleeter-Vorlieben

Um Spleeter auszuführen, müssen Sie zuerst die Umgebung vorbereiten.

Laden Sie Miniconda herunter und installieren Sie es

Conda ist wahrscheinlich am einfachsten, alsoMinikondaEinführen.

Ich denke, die Standardinstallation ist in Ordnung.

Installieren Sie Git

Sie benötigen einen Git-Client, also laden Sie ihn herunter und installieren Sie ihn.

Ich denke, die Standardinstallation ist in Ordnung.

Spleeter installieren

Starten Sie für Windows „Anaconda Prompt“ aus dem Startmenü.

Kopieren Sie nach dem Start die folgenden Befehle Zeile für Zeile und fügen Sie sie ein.

Überprüfen der Funktion von Spleeter mit der Demo-Soundquelle

cd spleeter python -m separate -h

Wenn Sie es problemlos installieren können, wird die folgende Hilfe (nur ein Teil ist beschrieben) angezeigt.

Export nach 2stem

python -m spleeter separat -i audio_example.mp3 -o audio_output

Die Datei wird im Ordner „audio_output \ audio_example“ gespeichert.

Ich habe es zweimal versucht, aber beim ersten Mal bekomme ich nur "vocals.wav" mit den extrahierten Vocals.

Wenn Sie den Befehl erneut ausführen (in der Historie des Befehls mit der oberen Taste der Tastatur zurückgehen), wird er ausgegeben.

"Accompaniment.wav" außer Gesang wird ebenfalls ausgegeben.

Export nach 4stem

spleeter separate -i audio_example.mp3 -o audio_output -p spleeter: 4stems

Bei Erfolg werden 4 Dateien wie unten exportiert.

INFO: spleeter: Datei audio_output \ audio_example \ bass.wav geschrieben INFO: sleeter: Datei audio_output \ audio_example \ vocals.wav geschrieben INFO: sleeter: Datei audio_output \ audio_example \ drums.wav geschrieben INFO: sleeter: Datei audio_output \ audio_example \ other. ww geschrieben

Sie können mit "-p" angeben, wie viele geteilt werden sollen. Derzeit werden die folgenden 3 Typen unterstützt.

• spleeter:2stems（ボーカル、その他）
• spleeter:4stems（ボーカル、ベース、ドラム、その他)
• spleeter:5stems（ボーカル、ベース、ドラム、ピアノ、その他)

Verwenden Sie Spleeter für Ihre eigene Klangquelle

Wenn Sie es selbst genießen möchten, war es meiner Meinung nach in Ordnung, nur die Vocals aus der von Ihnen selbst gerippten Klangquelle zu extrahieren. (Seien Sie vorsichtig, da es herauskommt, wenn Sie es ins Netz hochladen)

Ich werde nur beschreiben, wie es geht.

Kopieren Sie zuerst die vorbereitete Datei auf die gleiche Ebene wie "audio_example.mp3".

Jetzt müssen Sie nur noch den Befehl „audio_example.mp3“ auf den Dateinamen der vorbereiteten Datei ändern.

sleeter separate -i audio_example.mp3 -o audio_output

Ich habe es auf Japanisch versucht, aber es hat funktioniert.

Ich bin überrascht, dass es sich ganz schön extrahieren lässt.

Wenn Sie eine Fehlermeldung erhalten, kann es funktionieren, wenn Sie sie in alphanumerische Zeichen ändern.

Ich habe Machine Learning Spleeter ausprobiert. (Erklärung zur Verwendung) Zusammenfassung

Es ist eine großartige Technologie.

Wenn Sie einen Stamm haben, können Sie außerdem mehr lernen.

Dies ist eine Vermutung, aber derzeit scheint es, dass die japanische Stimme kaum gelernt wird.

Wenn Sie von einer Karaoke-CD usw. lernen, kann es möglich sein, mit beträchtlicher Genauigkeit zu extrahieren.

Da diese Software kostenlos verwendet werden kann, besteht eine hohe Wahrscheinlichkeit, dass Anwendungen mit integrierter GUI, die diese Technologie verwenden, in Zukunft herauskommen werden.

Ich dachte plötzlich, dass es erstaunlich wäre, wenn diese Technologie und die Technologie von Dialogue Match von iZotope, die neulich veröffentlicht wurde, verschmolzen würden.