Línea de investigación · 2005–2019
¿Es posible descubrir automáticamente cómo describir un sonido?
Análisis de audio por inteligencia artificial. Describir la señal de audio mediante fórmulas —los descriptores— exige conocimiento de procesamiento de señales; la línea trata del descubrimiento automático de descriptores y de la mejora, por búsqueda, de clasificadores de sonido ya entrenados. Comienza en el doctorado de Giordano Cabral, con el EDS de Sony CSL, incluye el análisis armónico del HarmIn y los clasificadores de sonido para seguridad pública en la UFRPE, y un estudio sobre el progreso del propio campo (2016).
01 · Análisis de audio por IA: recuperación de información musical
Contribuciones
EDS en el reconocimiento de acordes · 2005–2006
El EDS (Extractor Discovery System), de Sony CSL, propone descubrir descriptores de audio automáticamente. Con François Pachet y Jean-Pierre Briot, Cabral realizó la primera parte de la validación: Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition (ISMIR 2005, Londres; zenodo.1415701, hal-01416436) compara los enfoques clásicos con el sistema operado por un usuario sin experiencia, construyendo un reconocedor de acordes de guitarra. La continuación es Recognizing Chords with EDS: Part One (CMMR 2005, Pisa; LNCS 3902, Springer, 2006; doi.org/10.1007/11751069_17, hal-01336914). El trabajo hermano del mismo año es Impact of Distance in Pitch Class Profile Computation (10.º SBCM 2005; hal-01416428, PDF en las actas). Es el primer trabajo del doctorado en una conferencia internacional.
Descriptores analíticos para armonía y ritmo · 2007
Con Luiz Velho, del IMPA, y con Pachet, Pierre Roy y Briot: Analytical Features to Extract Harmonic or Rhythmic Information (11.º SBCM 2007; hal-01305977, PDF en las actas) y el informe técnico Some Case Studies in Automatic Descriptor Extraction (Río de Janeiro, 2007).
HarmIn · 2007
Herramienta de análisis de progresiones armónicas, aplicada a la obra de Tom Jobim a partir del Cancioneiro Jobim, con el musicólogo Robert Willey (University of Louisiana at Lafayette). Las progresiones se convierten en un grafo de transiciones entre acordes dispuesto sobre el círculo de quintas, con el grosor de cada arista proporcional a la frecuencia en el repertorio; los caminos armónicos recurrentes de un compositor quedan visibles. Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim recibió el premio al mejor artículo técnico de estudiante del 11.º SBCM (São Paulo, 1 al 3 de septiembre de 2007; página del simposio). PDF en las actas. En 2026 la herramienta volvió como skill portátil, que arma la matriz de transición en el círculo de quintas para el artista que se indique.
Audio como comando de juego · 2008–2010
Mapping Sounds into Commands (AES 35th International Conference: Audio for Games, Londres, 2008) y The Acoustick: Game Command Extraction from Audio Input Stream (SBGames 2010), con Roberto Cássio Júnior.
Audio-monitoreo para seguridad pública · 2010–2014
En la UFRPE, el problema pasó a ser detectar automáticamente disparos, gritos, golpes, sonido ambiente y silencio a partir de micrófonos. Fue el objeto de la beca de Productividad en Desarrollo Tecnológico del CNPq (2011–2014), del proyecto CNPq "Audio Monitoramento para Segurança Pública" (2010–2013) y del proyecto FACEPE "Classificação Automática de Áudio para Monitoramento de Espaços Públicos" (convocatoria 11/2011, 2012–2014). De allí salieron la tesis de maestría de Dalton Francisco de Araújo, Busca como sistema de apoio à melhoria de classificadores automáticos de áudio (UFRPE, 2012, beca FACEPE), y los programas registrados como Audio Alerta (2012) y Audio Alerta para segurança privada (2013), con Márcio Dahia, Roberto Cássio Júnior, Ivo Frazão y Raphael Holanda. Audio Alerta continuó después como spin-off de D'Accord.
Generación evolutiva de características acústicas · 2014–2019
El proyecto de productividad "Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação" (2014–) se ocupó de generar la característica acústica en lugar de elegirla a mano. Con José Antonio Alves Menezes y Bruno Gomes, el resultado en revista es Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features (Inteligencia Artificial, IBERAMIA, v. 22, n.º 64, 2019; doi.org/10.4114/intartif.vol22iss64pp14-35).
Medir el progreso del MIREX · 2016
El MIREX es el escenario de evaluación de la recuperación de información musical desde 2005. Con Ricardo Scholz y Geber Ramalho, el trabajo compila seis años de resultados, propone un índice configurable de tendencia de evolución por tarea y discute hipótesis sobre el estancamiento de algunas: Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses (ISMIR 2016, Nueva York; zenodo.1416898). Es el único trabajo del currículo sobre la metaciencia de la propia área.
Estribillo, transcripción y pódcasts · 2014–2021
Detección de estribillo por intensidad, con Renato Celso Santos Rodrigues (15º SBCM 2015; tesis de maestría codirigida en 2016); posprocesamiento de transcripción de acordes, con Uraquitan Cunha (12ª AES Brasil, 2014); predicción de popularidad de pódcast a partir de metadatos, contenido y audio, tesis de maestría de Luiz Delando Santos Moreira Júnior (2021).
02 · Análisis de audio por IA: recuperación de información musical
Dónde continúa
El Chord Detection Challenge de 2021, con Moises.ai, y la asignatura Computação Musical (Computación Musical), en la que la recuperación de información musical es uno de los cuatro bloques del programa.
