Stem Separation: KI-Wundermittel für Live Recording?
Tipps & Tricks zu Stem Separation für Live Recording
Viele unter uns betreiben die Musik als Hobby und finden sich daher auf kleinen bis kleinsten Bühnen wieder (Wohnzimmer usw.) Mit meiner (halb akustischen, halb elektrischen) Coverband habe ich so trotz Multitrackaufnahme bisher große Schwierigkeiten gehabt, brauchbare Mixes für Livevideos, Social Media usw. zu erhalten. In dieser Story will ich einen kleinen „Trick“ vorstellen, der sich der mittlerweile reichhaltig verfügbaren KI-Tools zur Quellentrennung bedient und der die Liveaufnahmen mit unserer Band soundtechnisch auf ein neues Niveau gehoben hat.
Inhaltsverzeichnis
Feind Nummer eins des guten Livesounds: Mikrofon-Übersprechen
Das wohl größte Problem bei der Liveaufnahme auf engstem Raum ist Bleed zwischen den Mikros. Konkret ist bei uns auf dem Gesangsmikro eigentlich immer mehr Schlagzeug als Gesang, und auch bei einem etwas größeren Gig mit Streichquartett (wann ist man schon mal Vorband eines großen Orchesters? Da muss man doch die Gunst der Stunde nutzen) traten die Streicher auf dem Streichermikro eigentlich nur als Fußnote in Erscheinung. So tönte es auf den rohen Aufnahmen:
Saubermachen mit Stem-Separation
Die Idee war nun die, sich eines der vielen mittlerweile verfügbaren Systeme zur stem separation zu bedienen. Kurz gesagt, handelt es sich um KI-gestützte Verfahren, um einen Track in seine Einzelspuren zu zerlegen – ein gefundenes Fressen für Remixer und Produzenten von Mashups. Wenn es damit aber möglich ist, einen kompletten Mix auseinanderzudröseln, dann sollte doch ein wenig Mikro-Leckage erst recht zu beheben sein.
Zum Glück hatte ich gerade erst im Open-Source-Audioeditor Audacity die OpenVINO AI Effects installiert, wozu neben verschiedenen Tools zur Rauschreduzierung und Spielereien wie generativen Modellen zur promptbasierten Musiksynthese eben auch ein Stem-Separation-Tool gehört. Die Plugins werden mit Unterstützung von Intel entwickelt und laufen daher kurioserweise ausgerechnet auf den seit langer Zeit in Intel-Prozessoren integrierten Grafikchipsätzen, die sonst ja eher belächelt bzw. geduldet werden. Auf meinem AMD-Gaming-Laptop mit einigermaßen heftiger NVIDIA-GPU war leider absolut nichts zu machen, aber mit der 11 Jahre alten Intel-Maschine im Büro ging es problemlos.
Test an Vocals und Strings
Also an die Arbeit: schnell die Gesangsspur in Audacity geladen, Bereich markiert und das OpenVINO Music Separation Plugin gestartet.
OpenVino Music Separation Tool. Zur Auswahl steht eine 2-spurige Variante (Instrumental, Vocals) sowie eine 4-spurige Variante (Drums, Bass, Vocals, Others).
Je nach Länge des Audiomaterials und verwendetem Prozessor benötigt die Separation zwischen einigen Minuten und Stunden. Im konkreten Fall habe ich nur die zweispurige Variante gewählt, denn ich bin ja wirklich nur an den Vocals interessiert. Und voilà, wir erhalten eine Gesangsspur ohne jegliche Störgeräusche. Hier der Vorher-Nachher-Vergleich:
Die Streicherspur ist ein echter Härtefall. Die empfindlichen Neumänner (Summe von 4x KM184 auf einem Mono-Kanal vom FOH auf die Bühne zurückgespielt) nehmen wirklich den ganzen Raum auf – und dann habe ich den Track im Pult gainmäßig auch noch ordentlich gegen die Wand gefahren (starkes Clipping). Hier versuche ich statt der OpenVINO-Effektsuite ein kostenpflichtiges Onlinetool und erhalte folgendes Ergebnis für „sonstige Instrumente (ebenfalls vorher und nachher):
Nun, hier ist qualitativ durchaus noch Luft nach oben. Die ebenfalls vorhandene Trompete wird ebenfalls (grundsätzlich korrekt) in die „Sonstiges“-Spur gepackt, und an einigen Stellen gibt es kurze Aussetzer der lang gehaltenen Töne. Aber die Spur ist isoliert genug, um z.B. Fehler herauszueditieren und ein paar Effekte draufzulegen (Reverb, Chorus).
Streicherspur vor (oben) und nach (unten) stem separation. Das Clipping im Eingabematerial ist deutlich zu sehen, ebenso wie die große Menge an Hintergrundlärm.
Mit diesem bereinigten Track ist es mir denn tatsächlich gelungen, einen halbwegs anständigen Mix hinzubekommen. Hier verlinke ich auf einen Instagram-Post, weil AMAZONA kein urheberrechtlich geschütztes Material hosten möchte.
Endergebnis als Rough Mix
Endergebnis als rough mix (bin wie gesagt nur Laie)
Nun die große Frage: wer von euch hat stem separation schon einmal in ähnlichem Kontext verwendet? Schreibt eure Erfahrungen in die Kommentare.
Ja, ist ein guter Ansatz. Wie oft, zeigt diese Lösung einen Weg auf, der ursprünglich gar nicht gegangen werden sollte, bzw. überhaupt nicht im Blick der Entwickler war. Ich habe auch schon mit Stem Separation bei Gitarre/Gesangsaufnahmen experimentiert und erstaunlich gute Ergebnisse erhalten. Das ist oft der Punkt wo ich überhaupt das Weitermachen mit der Aufnahme ins Auge fasse.
„Das wohl größte Problem bei der Liveaufnahme auf engstem Raum ist Bleed zwischen den Mikros.“ Das wiederum stört mich nicht, solange ich nicht versuche, eine eingespielte Spur durch eine neue Einspielung zu ersetzen. Dann stören die Bleed Fragmente auf den Gesangsspuren der ursprünglichen Aufnahme.
@Tai Kommt drauf an. In unserem Fall handelt es sich halt leider sozusagen um „high-risk music“, d.h. hinsichtlich des Anspruchs an rhythmische Genauigkeit bewegen wir uns an bzw. jenseits der Grenzen unseres technischen Spielvermögens. Live lässt uns das Publikum das durchgehen, weil die Stimmung entsprechend gut ist.
Aber bei Aufnahmen muss ich immer wieder einzelne Töne verschieben, damit am Ende doch alles timingmäßig schön zusammen ist (im hier verlinkten Beispiel allerdings noch nicht passiert). Dann ist schon der geringste Bleed sofort tödlich.
Aber witzig, dass du auch schon die gleiche Idee hattest :-)
schöne idee, live-recordings per KI aufzumöbeln. grundsätzlich natürlich hilfreich und eine gute sache. allerdings: ich komme aus dem professionellen videobereich, und da sagen viele schon lange, anstatt beim dreh sauber zu arbeiten, ‚fix it in post production‘. klar, später am rechner kann man viel machen und retten – und in der not ist das toll, sonst aber mE nicht der weg. bitte keine reparatur von vornerein einplanen. gutes ausgangsmaterial ist immer die beste und einfachste lösung.
@mdesign OK. Wenn es eine Videoperson gibt, wunderbar! Dann kann die ja alles ordentlich machen. Dito für den Ton. Aber wir sind halt klein und ein Hobbyprojekt, und ich bin in der Regel für alles von Video über Monitorsound bis FOH zuständig, und das während ich gleichzeitig Sechzehntel auf dem Bass spiele :-) Da bin ich über die neuen Möglichkeiten sehr dankbar, sonst bräuchten wir uns in den sozialen Medien nicht blicken zu lassen.
Sehr guter Ansatz: habe das gleiche Problem und habe es auch schon mit Stem-Separation probiert, ist halt zeitaufwendig. Aber notwendig wenn zB. später noch etwas dazu gespielt wird.
Das ist die Art, wie die Welt endet: Nicht mit einem Knall, sondern mit einem Wimmern.
@BenniJay Interessant! Erzähl mehr vom Weltuntergang und den damit verbundenen Geräuschen.