Aller au contenu
Giordano Cabral

Axe de recherche · 2005–2019

Peut-on découvrir automatiquement comment décrire un son ?

Analyse audio par intelligence artificielle. Décrire le signal audio par des formules — les descripteurs — exige des connaissances en traitement du signal ; cet axe porte sur la découverte automatique de descripteurs et sur l'amélioration, par recherche, de classifieurs sonores déjà entraînés. Il commence avec le doctorat de Giordano Cabral, avec l'EDS de Sony CSL, comprend l'analyse harmonique du HarmIn et les classifieurs sonores pour la sécurité publique à l'UFRPE, ainsi qu'une étude sur les progrès du domaine lui-même (2016).

Établi vu du dessus : boîtier en MDF avec quatre boutons et une pédale, un câble, une bobine de soudure, une plaque d'essai, un pied à coulisse et une feuille avec une onde dessinée ; un bouton rouge.

01 · Analyse audio par IA : recherche d'information musicale

Contributions

EDS pour la reconnaissance d'accords · 2005–2006

L'EDS (Extractor Discovery System), de Sony CSL, propose de découvrir automatiquement des descripteurs audio. Avec François Pachet et Jean-Pierre Briot, Cabral a réalisé la première partie de la validation : Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition (ISMIR 2005, Londres ; zenodo.1415701, hal-01416436) compare les approches classiques avec le système utilisé par un utilisateur sans expérience, qui construit un reconnaisseur d'accords de guitare. La suite est Recognizing Chords with EDS: Part One (CMMR 2005, Pise ; LNCS 3902, Springer, 2006 ; doi.org/10.1007/11751069_17, hal-01336914). Le travail frère de la même année est Impact of Distance in Pitch Class Profile Computation (10e SBCM 2005 ; hal-01416428, PDF dans les actes). C'est le premier travail du doctorat présenté dans une conférence internationale.

Descripteurs analytiques pour l'harmonie et le rythme · 2007

Avec Luiz Velho, de l'IMPA, et avec Pachet, Pierre Roy et Briot : Analytical Features to Extract Harmonic or Rhythmic Information (11e SBCM 2007 ; hal-01305977, PDF dans les actes) et le rapport technique Some Case Studies in Automatic Descriptor Extraction (Rio de Janeiro, 2007).

HarmIn · 2007

Outil d'analyse de progressions harmoniques, appliqué à l'œuvre de Tom Jobim à partir du Cancioneiro Jobim, avec le musicologue Robert Willey (University of Louisiana at Lafayette). Les progressions deviennent un graphe de transitions entre accords disposé sur le cycle des quintes, l'épaisseur de chaque arête étant proportionnelle à la fréquence dans le répertoire ; les chemins harmoniques récurrents d'un compositeur deviennent visibles. Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim a reçu le prix du meilleur article technique d'étudiant du 11e SBCM (São Paulo, du 1er au 3 septembre 2007 ; page du symposium). PDF dans les actes. En 2026, l'outil est revenu sous forme de skill portable, qui construit la matrice de transition sur le cycle des quintes pour l'artiste demandé.

HarmIn : graphe de transition d'accords sur le cycle des quintes (2007)
HarmIn : graphe de transition d'accords sur le cycle des quintes (2007)
HarmIn : trois répertoires comparés côte à côte
HarmIn : trois répertoires comparés côte à côte

L'audio comme commande de jeu · 2008–2010

Mapping Sounds into Commands (AES 35th International Conference: Audio for Games, Londres, 2008) et The Acoustick: Game Command Extraction from Audio Input Stream (SBGames 2010), avec Roberto Cássio Júnior.

Audio-surveillance pour la sécurité publique · 2010–2014

À l'UFRPE, le problème est devenu celui de détecter automatiquement, à partir de microphones, un coup de feu, un cri, un choc, un son ambiant et le silence. Il a fait l'objet de la bourse de productivité en développement technologique du CNPq (2011–2014), du projet CNPq « Audio Monitoramento para Segurança Pública » (2010–2013) et du projet FACEPE « Classificação Automática de Áudio para Monitoramento de Espaços Públicos » (appel d'offres 11/2011, 2012–2014). En sont issus le mémoire de master de Dalton Francisco de Araújo, Busca como sistema de apoio à melhoria de classificadores automáticos de áudio (UFRPE, 2012, bourse FACEPE), ainsi que les programmes enregistrés sous les noms Audio Alerta (2012) et Audio Alerta para segurança privada (2013), avec Márcio Dahia, Roberto Cássio Júnior, Ivo Frazão et Raphael Holanda. Audio Alerta a ensuite poursuivi son parcours comme spin-off de D'Accord.

Génération évolutive de caractéristiques acoustiques · 2014–2019

Le projet de productivité « Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação » (2014–) visait à générer la caractéristique acoustique plutôt qu'à la choisir à la main. Avec José Antonio Alves Menezes et Bruno Gomes, le résultat publié en revue est Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features (Inteligencia Artificial, IBERAMIA, vol. 22, n° 64, 2019 ; doi.org/10.4114/intartif.vol22iss64pp14-35).

Mesurer les progrès du MIREX · 2016

Le MIREX est depuis 2005 l'espace d'évaluation de la récupération d'information musicale. Avec Ricardo Scholz et Geber Ramalho, le travail compile six ans de résultats, propose un indice configurable de tendance d'évolution par tâche et discute des hypothèses pour la stagnation de certaines d'entre elles : Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses (ISMIR 2016, New York ; zenodo.1416898). C'est le seul travail du CV portant sur la métascience du domaine lui-même.

Refrain, transcription et podcasts · 2014–2021

Détection de refrain par l'intensité, avec Renato Celso Santos Rodrigues (15e SBCM 2015 ; mémoire de master coencadré en 2016) ; post-traitement de la transcription d'accords, avec Uraquitan Cunha (12e AES Brasil, 2014) ; prédiction de la popularité d'un podcast à partir des métadonnées, du contenu et de l'audio, mémoire de master de Luiz Delando Santos Moreira Júnior (2021).

02 · Analyse audio par IA : récupération d'information musicale

Où cela se poursuit

Le Chord Detection Challenge de 2021, avec Moises.ai, et la discipline Computação Musical, dans laquelle la récupération d'information musicale est l'un des quatre blocs du programme.

Chord Detection Challenge, défi public de détection automatique d'accords (2021)
Chord Detection Challenge, défi public de détection automatique d'accords (2021)