Linea di ricerca · 2005–2019
È possibile scoprire automaticamente come descrivere un suono?
Analisi audio con intelligenza artificiale. Descrivere il segnale audio tramite formule — i descrittori — richiede conoscenze di elaborazione dei segnali; la linea di ricerca tratta la scoperta automatica di descrittori e il miglioramento, tramite ricerca, di classificatori di suono già addestrati. Inizia con il dottorato di Giordano Cabral, con l'EDS della Sony CSL, comprende l'analisi armonica dell'HarmIn e i classificatori di suono per la sicurezza pubblica presso la UFRPE, e uno studio sui progressi del settore stesso (2016).

01 · Analisi audio con IA: recupero di informazioni musicali
Contributi
EDS nel riconoscimento di accordi · 2005–2006
L'EDS (Extractor Discovery System), della Sony CSL, propone di scoprire automaticamente descrittori audio. Con François Pachet e Jean-Pierre Briot, Cabral realizzò la prima parte della validazione: Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition (ISMIR 2005, Londra; zenodo.1415701, hal-01416436) confronta gli approcci classici con il sistema usato da un utente senza esperienza, che costruisce un riconoscitore di accordi di chitarra. Il seguito è Recognizing Chords with EDS: Part One (CMMR 2005, Pisa; LNCS 3902, Springer, 2006; doi.org/10.1007/11751069_17, hal-01336914). Il lavoro gemello dello stesso anno è Impact of Distance in Pitch Class Profile Computation (10º SBCM 2005; hal-01416428, PDF negli atti). È il primo lavoro del dottorato presentato a una conferenza internazionale.
Descrittori analitici per armonia e ritmo · 2007
Con Luiz Velho, dell'IMPA, e con Pachet, Pierre Roy e Briot: Analytical Features to Extract Harmonic or Rhythmic Information (11º SBCM 2007; hal-01305977, PDF negli atti) e il rapporto tecnico Some Case Studies in Automatic Descriptor Extraction (Rio de Janeiro, 2007).
HarmIn · 2007
Strumento di analisi di progressioni armoniche, applicato all'opera di Tom Jobim a partire dal Cancioneiro Jobim, con il musicologo Robert Willey (University of Louisiana at Lafayette). Le progressioni diventano un grafo di transizioni tra accordi disposto sul circolo delle quinte, con lo spessore di ogni arco proporzionale alla frequenza nel repertorio; i percorsi armonici ricorrenti di un compositore diventano visibili. Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim ha ricevuto il premio come miglior articolo tecnico di studente dell'11º SBCM (San Paolo, 1–3 settembre 2007; pagina del simposio). PDF negli atti. Nel 2026 lo strumento è tornato come skill portatile, che costruisce la matrice di transizione sul circolo delle quinte per l'artista richiesto.


Audio come comando di gioco · 2008–2010
Mapping Sounds into Commands (AES 35th International Conference: Audio for Games, Londra, 2008) e The Acoustick: Game Command Extraction from Audio Input Stream (SBGames 2010), con Roberto Cássio Júnior.
Audio-monitoraggio per la sicurezza pubblica · 2010–2014
Presso la UFRPE, il problema è diventato rilevare automaticamente, a partire da microfoni, spari, grida, colpi, suoni ambientali e silenzio. È stato l'oggetto della borsa di Produttività in Sviluppo Tecnologico del CNPq (2011–2014), del progetto CNPq "Audio Monitoramento para Segurança Pública" (2010–2013) e del progetto FACEPE "Classificação Automática de Áudio para Monitoramento de Espaços Públicos" (bando 11/2011, 2012–2014). Ne sono usciti la tesi di Dalton Francisco de Araújo, Busca como sistema de apoio à melhoria de classificadores automáticos de áudio (UFRPE, 2012, borsa FACEPE), e i programmi registrati come Audio Alerta (2012) e Audio Alerta para segurança privada (2013), con Márcio Dahia, Roberto Cássio Júnior, Ivo Frazão e Raphael Holanda. Audio Alerta è poi proseguito come spin-off della D'Accord.
Generazione evolutiva di caratteristiche acustiche · 2014–2019
Il progetto di produttività "Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação" (2014–) ha affrontato la generazione della caratteristica acustica invece della sua scelta manuale. Con José Antonio Alves Menezes e Bruno Gomes, il risultato su rivista è Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features (Inteligencia Artificial, IBERAMIA, v. 22, n. 64, 2019; doi.org/10.4114/intartif.vol22iss64pp14-35).
Misurare i progressi del MIREX · 2016
Il MIREX è, dal 2005, l'arena di valutazione del recupero di informazioni musicali. Con Ricardo Scholz e Geber Ramalho, il lavoro raccoglie sei anni di risultati, propone un indice configurabile di tendenza evolutiva per compito e discute ipotesi sulla stagnazione di alcuni di essi: Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses (ISMIR 2016, New York; zenodo.1416898). È l'unico lavoro del curriculum sulla metascienza dell'area stessa.
Ritornello, trascrizione e podcast · 2014–2021
Rilevamento del ritornello tramite intensità, con Renato Celso Santos Rodrigues (15º SBCM 2015; tesi co-supervisionata nel 2016); post-elaborazione della trascrizione di accordi, con Uraquitan Cunha (12ª AES Brasil, 2014); previsione della popolarità di un podcast a partire da metadati, contenuto e audio, tesi di Luiz Delando Santos Moreira Júnior (2021).
02 · Analisi audio con IA: recupero di informazioni musicali
Dove prosegue
Il Chord Detection Challenge del 2021, con Moises.ai, e il corso Computação Musical, in cui il recupero di informazioni musicali è uno dei quattro blocchi del programma.
