Wie es in den Wald hineinschallt …
Neutone Morpho, KI-basiertes Tone Morphing Plug-in
Mit Neutone Morpho bringt die junge Firma Neutone aus Tokio einen neuen Aspekt der Nutzung von Künstlicher Intelligenz in den Musikproduktionskontext. Das Plug-in besitzt verschiedene Modelle, beispielsweise eine Sitar oder Latin-Percussion, hört auf den Eingang und versucht dann, den eingehenden Klang anhand des Modells umzuwandeln. Keine Abos oder Kreditkartenregistrierungen vor dem Kauf hindern einem am Ausprobieren der Demoversion. Wir testen die Vollversion und auch die Option, eigene Morph-Generatoren zu erstellen.
Inhaltsverzeichnis
Installation von Neutone Morpho
Die Installation erfolgt über einen separaten Installer (ab macOS 10.15 und Windows 10). Es werden lediglich die Formate VST3 und AU angeboten, Pro Tools Nutzer sind damit raus. Es gibt auch leider keine Standalone-Version.
Für die Nutzung von Neutone Morpho wird eine CPU empfohlen, die mindestens die Rechenleistung eines Apple M1-Prozessor oder Vergleichbares bietet. Ich konnte es jedoch auch auf einem i7 macMini von 2012 zum Laufen bringen. Der schnauft zwar ein bisschen, aber es gab während des Tests keine Audioaussetzer. Die Belastung ist auch eher im GUI-Bereich zu suchen, denn mit geschlossenem Fenster konnte ich auf dem Rechner bis 128 Samples Buffersize heruntergehen.
Die Demoversion der Software enthält fünf Morphing-Modelle und kann ohne Einschränkung genutzt werden. Auch ein 7-Tage-Test der Vollversion ist nach Registrierung möglich. Möchte ich nun die Vollversion erwerben, muss ich mich dazu auf der Website von Neutone registrieren und den Kauf tätigen. Danach habe ich Zugriff auf 27 weitere Modelle.
Sehr wichtig zu wissen ist, dass Neutone nicht zu den Firmen gehört, die wahllos das Internet nach Klängen abgrasen, ohne Rücksicht auf Copyright oder Lizenzen. Alle Morphing-Modelle werden exklusiv anhand von Sounds trainiert, zu denen die Firma auch die Rechte hält. Dabei werden innerhalb des Plug-ins sogar die Quellen genannt.
Es gibt zu jedem Modell genaue Angaben
Es ist sogar so, dass, wenn ich eigene Modelle erstellen lasse, ich die Möglichkeit habe, sie im Neutone Shop zu veröffentlichen und daran zu verdienen. So gibt es bereits vier Artist-Models, die im Shop innerhalb des Plug-ins für je 20,- US-Dollar erworben werden können. Wer daran interessiert ist, die Firmenpolitik in Gänze zu erfahren, kann dies hier tun.
Allem in allem finde ich es erfrischend, dass Neutone Morpho von Anfang an ein Gefühl der Transparenz und des Respekts vor Künstlern vermittelt, denn normalerweise sind Informationen über die Herkunft des Trainingsmaterials hinter einem Schleier des Schweigens verborgen.
Was ist Neutone Morpho?
Am einfachsten könnte man sagen, dass es ein Plug-in zur Umwandlung von Klängen ist. Ihr schickt einen Synthesizer rein und es kommt ein anderer Klang heraus, je nachdem welches Morphing-Modell ihr ausgewählt habt, z.B. einen Sitar-Klang. Stellt euch vielleicht ein unregelmäßiges Kristallgitter vor, das an manchen Stellen dicker oder anders verflochten ist als an anderen. Schickt ihr nun Schallwellen auf das Gitter, so wird es in einer bestimmten Weise angeregt und resoniert oder dämpft bestimmte Aspekte des eingehenden Klangs. Jedes Morphing-Modell hat sein eigenes Gitter (sprich: trainiertes Neuronales Netz) und erzeugt so andere Klänge.
Jedes Morphing-Modell kann auch nur das ausgeben, was es gelernt hat. Transformer auf Basis von neuronalen Netzen sind nämlich keinesfalls kreativ, sie können lediglich das wiedergeben, was auch trainiert wurde. Die schiere Masse an Trainingsdaten erzeugt dann die Illusion der Kreativität.
Ein Morphing-Modell, das auf Percussions trainiert wurde, „interpretiert“ jedes Eingangssignal als Schlaginstrument. Und so wird auch ein Synthesizer-Klang zu einer Trommel. Wurde das Morphing-Modell auf drei verschieden hohe Toms trainiert, so könntet ihr mit verschiedenen Tonhöhen des Synthesizers die verschiedenen Toms am Ausgang von Neutone Morpho auslösen.
Die Oberfläche von Neutone Morpho
Die Oberfläche von Neutone Morpho
Die Hauptansicht von Neutone Morpho ist dreigeteilt. Links befinden sich die Eingangseffekte, rechts die Ausgangseffekte (mit ausnähme des Noise-Gates) und in der Mitte habt ihr die Kontrolle über bestimmte Parameter des Morphing-Modells und auch der Ein- und Ausgangslautstärke.
Der Blob symbolisiert das neuronale Netz und ihr seht ihn sich zum Eingangsklang bewegen (die Animation kann in den Optionen deaktiviert werden). Wollt ihr eine genauere Kontrolle, könnt ihr über den Micro-Button in der Mitte des Blobs genauer auf sechs Parameter zugreifen.
Hier habt ihr direkten Zugriff auf die Micro-Parameter, diese ändern die Reaktion auf den Eingang drastisch
Diese bestimmen, wie Neutone Morpho auf das Eingangssignal reagiert und kann zu drastischen Klangänderungen führen. Schaue ich mir die Parameter des Plug-ins genauer an, gibt es insgesamt sogar 32 Micro-Parameter, die aber aus guten Grund ausgeblendet sind. Denn meistens erzeugen diese vom Nutzer eigentlich nicht einstellbaren Parameter eine Instabilität im Klang und deren Nutzung führt häufig zu anhaltenden Tönen im Hintergrund.
Über das Burger-Menü in der oberen linken Ecke des GUI werden die Optionen, aber vor allem die Übersicht über die verschiedenen Morphing-Modelle von Neutone Morpho dargestellt. Diese werden nicht sofort beim Download installiert, sondern werden erst bei Bedarf auf die lokale Festplatte geladen. Die Morphing-Modelle habe eine Größe von ca. 30 MB und sind nach dem Download auch Offline verfügbar. Neutone Morpho zwingt euch also nicht ständig online zu sein.
Die Effekte von Neutone Morpho
Die Effekte sind eher dazu gedacht, den Input für das jeweilige Morphing-Modell interessanter zu gestalten oder so anzupassen, dass der Transformer anders darauf reagiert. Schickt ihr einen Drum-Beat rein und nehmt dann die Bässe des Eingangssignals weg, so werden bei einem Percussion-Morphing-Modell die tiefen Trommeln nicht mehr angesprochen.
Der Limiter und die Low- und High-Pass-Kombination beziehen sich nur auf das Ausgangssignal, die Filter haben dabei eine hörbare Resonanz. Ich hätte hier neutralere Filter bevorzugt.
Preset-Verwaltung von Neutone Morpho
Diese ist in zwei Bereiche geteilt. Einmal ist es die Auswahl des Morphing-Modells. Hier können alle zur Verfügung stehenden Morphing-Modelle durchsucht werden und es gibt auch Kategorien zum Filtern der Ansicht. Habt ihr ein Modell noch nicht heruntergeladen, könnt ihr das aus der Morphing-Modell-Verwaltung heraus in wenigen Sekunden tun. Über ein „More Info“-Button bekommt ihr auch genaue Informationen und Audio-Demos.
Hier könnt ihr die einzelnen Modelle ansehen, anhören und herunterladen, im Bild seht ihr die Artist-Modelle
Die zweite Preset-Verwaltung betrifft die Einstellung der besprochenen Effekte. Diese werden immer zusammen mit einem bestimmten Modell abgespeichert und können zumindest durchsucht werden.
Dies sind die FX-Einstellungen der jeweiligen Modelle
Neutone Morpho in der Praxis
Die Erfahrung Neutone Morpho zu nutzen und damit zu interagieren, ist schwer zu beschreiben. Um euch einen richtigen Eindruck davon zu verschaffen, kann ich nur die kostenlose Version empfehlen. Aber ich versuche es trotzdem.
Zunächst einmal verhält sich Neutone Morpho natürlich bei jedem einzelnem Morphing-Modell völlig anders. Jedes davon ist ein eigenes Instrument und reagiert anders, sowohl auf die Effekte am Eingang, als auch und besonders auf die Einstellung der Micro-Parameter.
Was der erste Micro-Parameter bei einem Percussion-Modell für einen Klang hervorbringt, ist gänzlich anders als das, was er in einem Chor-Modell macht. Das will alles erkundet werden und schnell verliere ich mich in einer ziemlich langen Sitzung, indem ich nur mit den Einstellungen spiele, während ich immer das gleiche Eingangssignal nutze.
Bei Drums als Eingangssignal können die Percussion-Modelle als Drum-Replacer genutzt werden und ich habe sie auch bereits in aktuellen Produktionen so eingesetzt. Nutzt ihr nun die Automation der Micro-Parameter oder Eingangseffekte, eröffnen sich mannigfaltige Variationen aus ein und demselbem Loop.
Bei denjenigen Morphing-Modellen, die auf tonale Instrumente trainiert wurden, ergibt sich ein etwas anderes Bild. Diese reagieren manchmal zu stark auf kleine Veränderungen im Eingangssignal, was mit dem Regler „Serindipity“ aber gekontert werden kann. Leider stellt dieser auch die Y-Position der Micro-Regler zurück, deren Position und Spannweite verstellt werden kann.
Insgesamt ist die Umsetzung nicht absolut klar und unverfälscht. Das Sitar-Modell zu spielen, erfordert einiges an Übung und vor allem das richtige Eingangssignal. Je näher das Eingangssignal an dem Klang einer Sitar ist, desto direkter oder vorhersehbarer ist das Ausgangssignal. Auch gibt es teilweise hörbare Loops, wenn ihr einen langanhaltenden Ton als Eingabe nutzt. Generell gibt es viele Artefakte zu hören, die alle ein wenig nach entkleideter FFT klingen. Für mich ist das allerdings ein kreatives Mittel und ich finde es eher spannend.
Ganz wild wird es bei Morphing-Modellen, die auf Klangquellen wie Kurzwellen-Geräuschen oder Aufnahmen von Teichfröschen im Amazonas trainiert wurden. Diese können sich auch gut für Sound-Design in der Post-Produktion eigenen.
Durch extreme Einstellung der Micro-Parameter können die Modelle auch jederzeit zur Entgleisung gebracht werden, was eine interessante Option ist.
Training eines eigenen Neutone Morpho Modells
Um eine eigenes Modell zu trainieren, benötigt ihr zwei Sachen: gutes Trainingsmaterial und Geld. Denn verständlicherweise kostet es, das bereitgestellte Audio in ein Morphing-Modell zu überführen. Ihr erstellt dabei Trainingsmaterial von ca. 1,5 Stunden Länge und schickt es über euren Web-Account zu Neutone. Dort wird das Material zunächst gesichtet und auf seine Tauglichkeit überprüft. Danach wird euer eigenes Morphing-Modell trainiert, was bis zu fünf Tage dauern kann. Ihr bekommt nach Abschluss eine Nachricht per E-Mail und könnt dann ganz einfach euer Modell über das Plug-in herunterladen und genauso nutzen wie alle anderen.
Das Hochladen wird auf der Website erledigt, nach ca. 5 Tagen ist Modell zum Einsatz bereit
Ich hatte dazu Material von Live-Sessions bereitgestellt. Dabei handelte es sich um die Trompeten-Spur, die ich zunächst von Hand und dann mit RipX von Hintergrundgeräuschen gereinigt hatte. Die Infos zur Erstellung eines guten Trainingssets auf der Website sind dabei extrem hilfreich. Wollt ihr z. B. ein Reaktion auf einen Filtersweep am Eingang haben, solltet ihr auch eine WahWah-Trompete mit ins Trainingsmaterial nehmen. Und es gilt wie immer: Garage In – Garage Out.
Das Ergebnis hat mich beeindruckt und ist definitiv für Produktionen zu gebrauchen. Vor allem der Ansatz und der Ton der Trompete wurde gut getroffen. Aber nochmal: Wenn die Trompete im ganzen Trainingsset kein C2 gespielt hat, wird es auch kein C2 ausgeben können, egal wie oft ihr das am Eingang spielt. Auch gibt es interessante Interpretationen in sehr tiefen Registern, wo offensichtlich doch noch irgendwelche Störgeräusche vorhanden waren, so dass seltsame Akkorde erklingen.
Interview mit Matthias, Designer und Developer bei Neutone
AMAZONA:
Wie ist die Firma Neutone entstanden?
Matthias:
Neutone wurde 2023 aus dem Kreativunternehmen Qosmo heraus gegründet. Unser CEO Nao Tokui, selbst renommierter Künstler und KI-Forscher, holte den Entwickler Andrew Fyfe ins Boot, um eine Schnittstelle zu schaffen, die künstliche neuronale Netzwerke für Musiker zugänglich macht.
AMAZONA:
Was war euer erstes Produkt?
Matthias:
(…) unser erstes Plug-in (heute Neutone FX) – (war) im Kern eine Plattform, auf der Forscher ihre Python-Modelle direkt in der DAW in Echtzeit testen können. Diese Modelle können anschließend über uns einem breiteren Publikum verfügbar gemacht werden. Wir halten die Bedienung bewusst simpel: Echtzeitverarbeitung und nur vier Parameter pro Modell, damit der Einstieg leicht fällt.
AMAZONA:
Was ist alles in Neutone FX enthalten?
Matthias:
In Neutone FX bieten wir mittlerweile eine Vielzahl an KI-Modellen an, wobei RAVE (entwickelt von Antoine Caillon und Philippe Esling am französischen IRCAM) besonders heraussticht. RAVE ist ein Autoencoder-Modell, das in Echtzeit die Klangfarbe eines Eingangssignals transformiert. Die Live-Spielbarkeit begeistert viele WissenschaftlerInnen und Hobbyisten, die ihre eigenen RAVE-Modelle kostenlos über Neutone FX teilen.
AMAZONA:
Wie wurde daraus euer Morpho Plug-in?
Matthias:
Basierend auf dieser „Timbre Transfer“-Technologie haben wir Neutone Morpho entwickelt – ein Produkt, das speziell darauf ausgerichtet ist, diese Möglichkeiten zu erweitern. Der resultierende Sound ist definitiv experimentell und manchmal unvorhersehbar, was für uns genau den Reiz ausmacht. Du spielst das Instrument nicht mit MIDI, sondern direkt mit einem Audiosignal, das dann umgewandelt wird. Je nach Eingangssignal verändert sich der Output-Sound. Zusätzlich haben wir Wege geschaffen, direkt in das neuronale Netz einzugreifen, und arbeiten weiter an neuen Möglichkeiten, diese zu spielen.
AMAZONA:
War die Möglichkeit, eigene Modelle zu trainieren, von vornherein geplant?
Matthias:
Von Anfang an war es uns wichtig, Künstlern mehr Freiraum mit dieser Technologie zu geben. Deshalb haben wir eine Cloud-Lösung entwickelt, mit der man eigene Modelle trainieren kann. Das erfordert zwar etwas Fingerspitzengefühl bei der Datensatzauswahl und Experimentierfreude, ermöglicht aber eine völlig neue Art, mit seiner Sample-Librarys zu arbeiten – Sounds zu interpolieren und unerwartete Klänge zu entdecken.
AMAZONA:
Was unterscheidet euch von Diensten wie z. B. UDIO?
Matthias:
Im Gegensatz zu anderen KI-Musik-Startups, die darauf abzielen, komplette Songs zu generieren und Streaming-Dienste mit KI-Musik zu „disruptieren“, wollen wir Musikern neue Instrumente an die Hand geben. Eines unserer Leitmotive war immer, neue Genres zu ermöglichen, statt bekannte Songstrukturen nachzuahmen. Das zeigt sich auch in den Künstlern, mit denen wir zusammenarbeiten – viele kommen aus der experimentellen elektronischen Musik und haben ihre ganz eigenen Ansätze. Wir sind super dankbar für ihre Unterstützung und das wertvolle Feedback, das uns hilft, unsere Plug-ins weiterzuentwickeln.
AMAZONA:
Vielen Dank für diesen kleinen Einblick in eure Firmenphilosophie, wir sind gespannt, wo die Reise noch hingehen wird.
Matthias:
Auch euch vielen Dank!
Hört sich definitiv interessant an. KI wird auf jeden Fall die Zukunft werden in der Musik. Die Frage wird der Umgang damit sein und das zwischen „Musik“ und „Musik“ ein großer Unterschied herrscht. Daher denke ich das trotz Suno und Co. auch zukünftig sich die Spreu vom Weizen trennen wird, auch wenn durch KI (Suno und Co.) noch mehr Musik zu Tage kommt. Zum Produkt: Ganz verstanden habe ich es tatsächlich noch nicht. Aber da hilft vermutlich nur ausprobieren – learningbydoing. Ich sehe hier die Chancen weniger darin, aus einem Synthpad eine Trompete etc. zu kreieren in Zeiten von Samplelibrarys und aktuellen Rechnern, da vermutlich jedes Blasinstrument vom Ergebnis her besser klingt. Aber zum Beispiel einem herkömmlichem langweiligen Drumbeat den besonderen Schliff verleihen, damit er etwas anders klingt als normal, da sehe ich die Chance: Es zaubert sich eine elektronisch-klingende Clap rein und die Bassdrum klingt statt natürlich auf einmal elektronisch. So Geschichten eben. Und mit dem Training der KI wird es immer einzigartiger und ausgefuxter, so dass man hunderte von verschiedenen Beats erstellen kann. Dadurch entstehen völlig neue Rhythmen. Cool….and go for it.
@Filterpad Der Synthesizer konnte nach Ansicht mancher Menschen der 1960er auch jeden erdenklichen Klang erzeugen, doch gut 70 Jahre später gibt es immer noch Symphonie-Orchester und E-Gitarren, als wäre nix gewesen. Musik ist so vielfältig, dass keine Technologie sie jemals vollständig durchdringt. KI wird einem Teil der Musikschaffenden einen Teil der Arbeit erleichtern, aber das war es dann auch. Wer Lust auf handgeschraubte Maschinenmusik hat, wird diese auch in 100 Jahren noch machen und hören können.
Grundsätzlich interessant, ich finde es aber sehr schade, dass ich keine eigenen Modelle lokal trainieren kann. 29$ und 5 Tage warten, ist mir zuviel, wenn ich vorher 100$ bezahlt habe.