소리를 어떻게 기술할지 자동으로 찾아낼 수 있을까?

코드 인식에서의 EDS · 2005–2006

Sony CSL의 EDS(Extractor Discovery System)는 오디오 기술자를 자동으로 발견하는 것을 목표로 한다. Cabral은 François Pachet, Jean-Pierre Briot와 함께 검증의 첫 부분을 수행했다. Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition(ISMIR 2005, 런던; zenodo.1415701, hal-01416436)은 기타 코드 인식기를 만드는 과정에서, 기존의 고전적 접근법과 경험 없는 사용자가 운용하는 이 시스템을 비교한다. 후속 논문은 Recognizing Chords with EDS: Part One(CMMR 2005, 피사; LNCS 3902, Springer, 2006; doi.org/10.1007/11751069_17, hal-01336914)이다. 같은 해의 자매 논문은 Impact of Distance in Pitch Class Profile Computation(제10회 SBCM 2005; hal-01416428, 학술대회 논문집 PDF)이다. 박사과정 중 국제 학술대회에 발표한 첫 연구이다.

화성과 리듬을 위한 분석적 기술자 · 2007

IMPA의 Luiz Velho, 그리고 Pachet, Pierre Roy, Briot와 함께: Analytical Features to Extract Harmonic or Rhythmic Information(제11회 SBCM 2007; hal-01305977, 학술대회 논문집 PDF) 및 기술 보고서 Some Case Studies in Automatic Descriptor Extraction(리우데자네이루, 2007).

HarmIn · 2007

화성 진행 분석 도구로, 음악학자 Robert Willey(University of Louisiana at Lafayette)와 함께 Cancioneiro Jobim을 바탕으로 Tom Jobim의 작품에 적용했다. 화성 진행은 5도 순환 위에 배치된 코드 간 전이 그래프로 표현되며, 각 간선의 두께는 해당 레퍼토리에서의 빈도에 비례한다. 이를 통해 한 작곡가의 반복되는 화성 경로가 눈에 보인다. Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim은 제11회 SBCM(상파울루, 2007년 9월 1~3일)에서 최우수 학생 기술 논문상을 받았다(심포지엄 페이지). 학술대회 논문집 PDF. 2026년에 이 도구는 이동 가능한 skill로 다시 만들어졌으며, 요청한 아티스트에 대해 5도 순환 위의 전이 행렬을 구성한다.

게임 명령으로서의 오디오 · 2008–2010

Mapping Sounds into Commands(AES 35th International Conference: Audio for Games, 런던, 2008)와 The Acoustick: Game Command Extraction from Audio Input Stream(SBGames 2010), Roberto Cássio Júnior와 공저.

공공 안전을 위한 오디오 모니터링 · 2010–2014

UFRPE에서의 과제는 마이크로 수집한 소리에서 총소리, 비명, 충격음, 주변 소음, 정적을 자동으로 탐지하는 것이었다. 이는 CNPq 기술개발 생산성 장학금(2011–2014), CNPq 프로젝트 "Audio Monitoramento para Segurança Pública"(2010–2013), 그리고 FACEPE 프로젝트 "Classificação Automática de Áudio para Monitoramento de Espaços Públicos"(공고 11/2011, 2012–2014)의 연구 대상이었다. 그 결과 Dalton Francisco de Araújo의 학위논문 Busca como sistema de apoio à melhoria de classificadores automáticos de áudio(UFRPE, 2012, FACEPE 장학금)와 Audio Alerta(2012), Audio Alerta para segurança privada(2013)로 등록된 프로그램이 나왔으며, 공동 작업자는 Márcio Dahia, Roberto Cássio Júnior, Ivo Frazão, Raphael Holanda이다. Audio Alerta는 이후 D'Accord의 스핀오프로 이어졌다.

음향 특징의 진화적 생성 · 2014–2019

생산성 프로젝트 "Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação"(2014–)는 음향 특징을 직접 고르는 대신 생성하는 방법을 다루었다. José Antonio Alves Menezes, Bruno Gomes와 함께 낸 학술지 논문은 Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features(Inteligencia Artificial, IBERAMIA, 22권 64호, 2019; doi.org/10.4114/intartif.vol22iss64pp14-35)이다.

MIREX의 진전 측정 · 2016

MIREX는 2005년부터 음악 정보 검색 평가의 장이 되어 왔다. Ricardo Scholz, Geber Ramalho와 함께 한 이 연구는 6년간의 결과를 정리하고, 과제별 발전 추이를 나타내는 설정 가능한 지수를 제안하며, 일부 과제가 정체된 이유에 대한 가설을 논의한다: Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses(ISMIR 2016, 뉴욕; zenodo.1416898). 이 분야 자체의 메타과학을 다룬 이력상 유일한 연구이다.

후렴구, 채보, 팟캐스트 · 2014–2021

강도에 기반한 후렴구 탐지, Renato Celso Santos Rodrigues와 함께(제15회 SBCM 2015; 2016년 공동지도 학위논문); 코드 채보 후처리, Uraquitan Cunha와 함께(제12회 AES Brasil, 2014); 메타데이터, 콘텐츠, 오디오를 이용한 팟캐스트 인기도 예측, Luiz Delando Santos Moreira Júnior의 학위논문(2021).

Moises.ai와 함께한 2021년 Chord Detection Challenge, 그리고 음악 정보 검색이 프로그램의 네 개 블록 중 하나인 과목 Computação Musical(컴퓨터 음악).