Musikbibliotheken, Labels, Sync-Agenturen, Produzenten und Musiklehrer verwalten große Mengen Audio, das schlecht beschrieben und schwer zu bearbeiten ist. Modelle für Music Information Retrieval (MIR) hören einen Titel an und liefern Tags, Embeddings, getrennte Stems sowie Noten- oder Akkordtranskriptionen. So wird die manuelle Katalogisierung und das Heraushören nach Gehör zu einem automatisierten Schritt, den Menschen prüfen. Viele Werkzeuge laufen lokal auf einem Laptop oder einer einzelnen GPU.
Problem & Nutzen
- Heute: Katalog-Metadaten werden von Hand oder von freiberuflichen Taggern erfasst; Produktionsbibliotheken und Sync-Teams suchen mit Stichwörtern, die nicht zu dem passen, was sie hören; Arrangeure transkribieren nach Gehör; Remixer, Karaoke-Produzenten und Sample-Künstler haben keine sauberen Stems.
- KI-Nutzen: einheitliche Verschlagwortung im Katalogmaßstab, Suche per Beispiel („finde Titel, die so klingen wie dieser"), Stems aus Stereo-Mischungen sowie Entwürfe von Partituren oder Akkordblättern, die ein Mensch korrigiert.
- Belegbarkeit: Herstellerangaben und Forschungsergebnisse zu Tagging-Genauigkeit und Trennqualität gelten jeweils für einen bestimmten Benchmark (z. B. MUSDB18, MTG-Jamendo). Messen Sie an Ihrem eigenen Repertoire, bevor Sie einer Zahl vertrauen.
Varianten
- Katalog-Tagging & Ähnlichkeitssuche (Labels, Produktionsmusik, Streaming, Sender, Archive): Tags für Genre, Stimmung, Instrument, BPM und Tonart sowie Embedding-Suche; zur multimodalen Archivsuche siehe KNOW-016.
- Stem-Trennung (Produzenten, DJs, Remix/Karaoke, Film-Postproduktion, Restaurierung alter Aufnahmen): wird auch genutzt, um Gesang vor einer Bereinigung zu isolieren (SPEECH-008).
- Automatische Musiktranskription (Arrangeure, Verlage, Musikpädagogen): Audio → MIDI/MusicXML, Akkord- und Beat-Erkennung.
- Echtzeit-Rückmeldung zur Darbietung / Musiklern-Apps (privat, als private gekennzeichnet; Yousician, Simply Piano, Flowkey): Dieselben Modelle für Tonhöhe, Einsatz und Akkorde laufen in Echtzeit gegen eine Partitur, auf dem Smartphone, und zeigen Lernenden, ob Töne und Timing stimmten. Verwandt mit EDU-004 (KI-Nachhilfe).
- Unterstützung bei Rechten und Tantiemen: Inhaltserkennung und Erkennung KI-generierter Musik; das überschneidet sich mit GEN-007 (Musikgenerierung) und ist eine stark regulatorisch geprägte Variante.
So funktioniert es
- audio ingest (file / stream / microphone)
- decode, resample, normalise
- feature front end (mel-spectrogram, CQT) or waveform encoder
- task models: tagging | embedding | beat/tempo/key | source separation | note/chord transcription
- post-processing (thresholds, note segmentation, quantisation, ensembling)
- outputs: tags, vectors in index, stems, MIDI/MusicXML
- human review (tag QA, score editing in a notation editor)
- catalogue / DAW / app
- Tagging/Embeddings: Audio-Encoder (CNN oder Transformer, selbstüberwachte Modelle wie MERT oder kontrastive Audio-Text-Modelle wie CLAP) erzeugen Vektoren, die für Tags, Zero-Shot-Textsuche und Ähnlichkeit genutzt werden; die Vektoren liegen in einer Vektordatenbank.
- Trennung: Neuronale Quellentrenner (Demucs-Familie, hybride Waveform/Spektrogramm-Transformer, Band-Split-RNN/RoFormer-Varianten) schätzen Gesang, Schlagzeug, Bass und Sonstiges.
- Transkription: Leichtgewichtige Modelle für Tonhöhe und Einsatz (z. B. Basic Pitch) für einstimmiges oder leicht mehrstimmiges Audio; größere Transformer-Modelle für Klavier und Mehrinstrumenten-Audio.
- Mensch-in-der-Schleife (Human-in-the-Loop): Redakteure korrigieren Tags, Arrangeure korrigieren Transkriptionen; die automatische Ausgabe ist ein Entwurf. Stems für kommerzielle Nutzung brauchen vorab eine Rechteprüfung.
Datenaufbereitung
Die Daten bestehen aus Audio plus Katalog-Metadaten (ISRC, Genre, BPM, Rechte). In einem kleinen Label, Studio oder einer Musikschule liegen sie auf Dateifreigaben, externen Festplatten, in DAW-Projektordnern sowie in einer Tabelle oder einem Katalogwerkzeug; größere Kataloge liegen in einem Media-Asset-Management-System oder DMS. Typische Lücken sind gemischte Formate und Abtastraten, doppelte Versionen (Demo, Master, Radio Edit), uneinheitliche oder fehlende Tags, ungeklärte Rechte je Titel und keine Referenzwerte für das eigene Genre-Vokabular.
Schritte: 1. Dateien und Rechtestatus inventarisieren (siehe PREP-001). 2. Dekodieren und in ein einheitliches Format normalisieren (ffmpeg), per Audio-Fingerprint Duplikate entfernen. 3. Ein Tag-Schema festlegen, bevor verschlagwortet wird (PREP-019). 4. Vorhandene Labels aus Katalogeinträgen als Startmenge übernehmen (PREP-020). 5. Mit einem Musiker oder A&R-Redakteur einen kleinen Testdatensatz aufbauen (PREP-018).
Vortrainierte Modelle funktionieren ohne Trainingsdaten, daher macht die Aufbereitung nur einen kleinen Teil des Aufwands aus, grob 10 bis 20 Prozent, überwiegend Rechteklärung und Entscheidungen zum Tag-Schema.
Umsetzungswege
Welcher Weg für wen
- smb: Weg C, weil Demucs, Essentia und Basic Pitch auf HW2 laufen und unveröffentlichte Master im Haus bleiben.
- enterprise: Weg C, weil große Kataloge API- oder Lizenzkosten pro Minute hoch treiben und eine interne Audio-Embedding-Plattform Tagging, Suche und Empfehlung bedient.
- developer: Weg C, weil die Open-Weight-Modelle die Bausteine des Produkts sind.
- private: Weg A, weil Stem- und Übungs-Apps ausgereift und günstig sind und keine Einrichtung brauchen.
Weg A — Kaufen (Standardsoftware)
- Katalog-Tagging/Suche: Cyanite (EU, Deutschland), Musiio (jetzt Teil von SoundCloud), AIMS API, Metadatendienste im Stil von Musicstax; DAM/MAM-Suiten für Sender.
- Werkzeuge für Stem-Trennung und Transkription: LALAL.AI, Moises, AudioShake (B2B), iZotope RX, Steinberg SpectraLayers, Logic Pro und andere DAWs mit eingebauter Stem-Trennung; AnthemScore, Klangio (EU, Deutschland) für die Transkription.
- Musiklern-Apps: Yousician (EU, Finnland), Simply Piano (Simply), Flowkey (EU, Deutschland).
- A wählen, wenn: ein kleines Team schnell Ergebnisse mit wenigen Dateien will oder eine ausgereifte Oberfläche braucht.
Weg B — Auf Cloud-KI-Diensten aufbauen
- Hersteller-APIs für Tagging und Trennung (Cyanite, AudioShake, LALAL.AI); allgemeine multimodale APIs (Gemini, Audiomodelle der GPT-Klasse) können Musik in freiem Text beschreiben, sind aber für präzise Arbeit auf Notenebene weniger zuverlässig.
- Orchestrieren Sie mit Warteschlange und Objektspeicher in einer EU-Region; speichern Sie Tags in Ihrem DAM oder Suchindex.
- B wählen, wenn: Sie MIR in ein bestehendes Produkt einbauen wollen, ohne GPUs zu betreiben.
Weg C — Selbst betreiben (Open Source)
- Trennung: Demucs / HT Demucs (Meta, Repository inzwischen von der Community gepflegt), Open-Unmix, Spleeter (älter), Modelle der Band-Split-RoFormer-Klasse über das Toolkit Music Source Separation Training.
- Transkription: Basic Pitch (Spotify, läuft auf der CPU und im Browser), MT3 (Google Magenta), Omnizart, Onsets and Frames für Klavier.
- Tagging/Embeddings: Essentia und seine vortrainierten Modelle (MTG, Universitat Pompeu Fabra, EU), MERT, CLAP, MusiCNN; librosa und madmom für Beats, Tempo und Akkorde.
- Stack: Python, PyTorch oder ONNX, eine Vektordatenbank wie pgvector/Qdrant, Batch-Warteschlange.
- Hardware: HW1 für Tagging und Basic Pitch; HW2 (eine GPU mit 16-24 GB) für die Stapeltrennung eines großen Katalogs und für Echtzeitbetrieb auf einer Workstation.
Weg D — Eigenes Training
Lohnt sich für eine hauseigene Taxonomie (eigenes Stimmungsvokabular), nicht-westliches oder Nischenrepertoire (Folk, Alte Musik, indische oder arabische Modalmusik) oder einen instrumentspezifischen Transkribierer. Es braucht einige tausend Titel mit einheitlichen Labels; die Qualität der Labels zählt mehr als die Menge. Lizenzierte Trainingsdaten sind Pflicht; siehe Risiken.
Stand der Technik (2026)
- Trennung aus Stereo-Mischungen ist bei Gesang und Schlagzeug gut, schwächer bei dichtem „Sonstigem" und Instrumenten mit überlappenden Spektren; hörbare Artefakte (Übersprechen, Phasing) bleiben, besonders bei Live- oder Lo-Fi-Aufnahmen.
- Selbstüberwachte und Audio-Text-Modelle liefern starke Embeddings für Zero-Shot-Tagging und Textsuche über Kataloge; Vokabular und kulturelle Verzerrung zugunsten westlicher Popmusik bleiben eine bekannte Grenze.
- Transkription ist für Soloklavier und Gitarre ausgereift; Mehrinstrumentales, dichte Polyphonie, Schlagzeug und Singstimme bleiben fehleranfällig. Die Ausgaben brauchen einen Bearbeiter.
- Generative Musik (GEN-007) hat die Erkennung KI-generierter Titel zu einer neuen MIR-Aufgabe gemacht; Detektoren wägen Fehlalarme gegen Umgehung ab und sollten nicht die alleinige Grundlage sein, um Künstler zu sanktionieren.
- Echtzeit-Erkennung von Tonhöhe und Einsatz läuft direkt auf dem Smartphone, sodass Übungs-Apps ohne Übertragung von Audio an einen Server möglich sind.
Gemeinsame Bausteine & Kombinationen
- Gleicher Audio-Stack (audio-classification, Embeddings, edge-runtime) wie SPEECH-009 (Erkennung von Audioereignissen) und SPEECH-015 (Bioakustik); die Trennung überschneidet sich mit SPEECH-008 (Verbesserung, Podcast-Schnitt).
- Suche: Embeddings und Tags speisen KNOW-016; der Vektorindex wird mit dem Text-RAG geteilt.
- Generierung: GEN-007 erzeugt Material, das MIR verschlagwortet; SPEECH-007 (Synchronisation) braucht die Trennung von Gesang und Hintergrund.
- Lernen: EDU-004 für Anleitung rund um die Rückmeldeschleife.
- Ein HW2-GPU-Server kann Trennungs-, Tagging- und Transkriptionsaufträge in einer Warteschlange verarbeiten.
Aufwand, Kosten & Kennzahlen
- Weg A: Tage; Preis pro Titel oder im Abonnement.
- Weg B: 1-2 Monate für die Integration in DAM und Suche.
- Weg C: 1-3 Monate; eine GPU, geringer Betriebsaufwand; Stapelverarbeitung lässt sich leicht einplanen.
- Weg D: mehr als 3 Monate inkl. Datenlizenzierung und Annotation.
- Kennzahlen: Präzision/Trefferquote der Tags gegenüber einer von Experten gelabelten Stichprobe, Erfolgsquote der Suche und Zeit bis zum Finden eines Titels, Trennqualität (SDR oder Hörtests), F-Wert auf Notenebene für die Transkription, eingesparte Bearbeitungszeit pro Titel, Bindung der Nutzer bei Übungs-Apps für die Lernvarianten.
Menschen & Veränderung
Binden Sie von Anfang an die Geschäftsleitung (Budget, Rechterichtlinie) und die Fachbereichsleitung (Katalog, Studio oder Unterricht) ein. Musiker, Produzenten und Lehrende sind die Anwender: Lassen Sie eine kleine Pilotgruppe die Werkzeuge an einigen Titeln testen und entscheiden, was gut genug ist. Die IT richtet Konten und Hardware ein; Recht oder Compliance klärt, wer welche Aufnahmen verarbeiten darf, da Stems und Transkriptionen Urheber- und Leistungsschutzrechte berühren.
Betriebsrat: in der Regel nein. Das System analysiert Musik, nicht das Verhalten von Beschäftigten, daher wird § 87 Abs. 1 Nr. 6 BetrVG normalerweise nicht ausgelöst; informieren Sie den Betriebsrat dennoch früh nach § 90 Abs. 1 Nr. 3 BetrVG, wenn sich Arbeitsabläufe ändern, und prüfen Sie die Nutzungsprotokolle. Eine(n) Datenschutzbeauftragte(n) braucht es nur, wenn Aufnahmen erkennbare Sprache oder personenbezogene Stimmdaten enthalten; dann sind die Rechtsgrundlage und ein AVV mit jedem Cloud-Anbieter zu prüfen.
KI-Kompetenz: Schulen Sie die Beschäftigten kurz zu den Grenzen (Tag-Fehler, Transkriptionsfehler, Urheberrecht an erzeugten Stems), gemäß Art. 4 der KI-Verordnung (AI Act). Kommunizieren Sie, dass die Ausgabe ein Entwurf ist: Redakteure korrigieren Tags und Partituren, und Menschen entscheiden, bevor etwas veröffentlicht wird. Eine typische Sorge ist die Verdrängung kreativer Arbeit; begegnen Sie ihr, indem Sie die Werkzeuge als Assistenten für das routinemäßige Tagging positionieren.
Guides: GUIDE-008, GUIDE-006, GUIDE-009.
Risiken, Regulierung & Compliance
- KI-Verordnung (AI Act): minimales Risiko für Tagging, Trennung, Transkription und Lernrückmeldung. Emotionserkennung am Arbeitsplatz oder in der Ausbildung ist nach Art. 5 Abs. 1 Buchst. f verboten: Nutzen Sie keine Stimm- oder Musik- „Stimmungs"-Analyse, um auf Emotionen von Lernenden oder Beschäftigten zu schließen. Synthetische Audioausgaben unterliegen den Transparenzpflichten nach Art. 50; das betrifft eher GEN-007 als diesen Anwendungsfall. Die KI-Kompetenz (Art. 4) gilt.
- Urheberrecht (Hauptrisiko): Das Trennen oder Transkribieren geschützter Aufnahmen erzeugt abgeleitetes Material, das für die kommerzielle Nutzung Lizenzen braucht. Die Ausnahme für Text und Data Mining in Art. 4 der Richtlinie (EU) 2019/790 erlaubt Rechteinhabern den Vorbehalt gegen Training; die KI-Verordnung (Art. 53) verpflichtet Anbieter von Allzweckmodellen, ihn zu beachten. Prüfen Sie die Lizenzbedingungen vortrainierter Modelle und Trainingsdatensätze (manche sind nur nicht-kommerziell nutzbar).
- DSGVO: meist keine personenbezogenen Daten, aber Singstimmen, Nutzeraufnahmen und Lernkonten in Übungs-Apps können in der Praxis personenbezogen sein; Stimmaufnahmen dürfen ohne Rechtsgrundlage nicht zur biometrischen Identifizierung verwendet werden (siehe SPEECH-010). Schließen Sie mit API-Anbietern Auftragsverarbeitungsverträge ab.
- Gegenmaßnahmen: Lizenzprüfung von Modellen und Daten, menschliche Prüfung von Tags und Partituren, Protokollierung von Quelle und Rechtestatus je Stem, keine Emotionsableitung bei Personen.
Erste Schritte
- Wählen Sie 100-200 repräsentative Titel und lassen Sie einen Experten sie labeln (Tags, einige Transkriptionen).
- Lassen Sie Essentia/CLAP für Tags und Demucs plus Basic Pitch lokal laufen; vergleichen Sie mit Ihren Labels.
- Vergleichen Sie 1-2 kommerzielle Werkzeuge (Cyanite, LALAL.AI, Moises) an derselben Stichprobe.
- Legen Sie Embeddings in einen Vektorindex und testen Sie die Suche per Beispiel mit echten Nutzern.
- Klären Sie den Lizenzstatus der Aufnahmen und Modelle, bevor Stems kommerziell genutzt werden.
Quellen
- Demucs (source separation) — https://github.com/adefossez/demucs
- Basic Pitch (Spotify, audio-to-MIDI) — https://github.com/spotify/basic-pitch
- Essentia (MTG, Universitat Pompeu Fabra) — https://essentia.upf.edu/
- MERT music understanding model — https://huggingface.co/m-a-p/MERT-v1-330M
- LAION CLAP audio-text model — https://github.com/LAION-AI/CLAP
- MT3 multi-instrument transcription (Magenta) — https://github.com/magenta/mt3
- SigSep, MUSDB18 and separation evaluation — https://sigsep.github.io/
- Directive (EU) 2019/790 on copyright in the Digital Single Market — https://eur-lex.europa.eu/eli/dir/2019/790/oj
- Regulation (EU) 2024/1689 (AI Act) — https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- Cyanite (music tagging, Germany) — https://cyanite.ai/