研究方向 · 2005–2019
能否自动发现如何描述一个声音?
人工智能音频分析。用公式——即描述符——来描述音频信号,需要信号处理方面的知识;这一研究方向关注描述符的自动发现,以及通过搜索改进已训练好的声音分类器。研究始于Giordano Cabral的博士阶段,使用Sony CSL的EDS,包括HarmIn的和声分析、UFRPE面向公共安全的声音分类器,以及一项关于该领域自身进展的研究(2016年)。

01 · 人工智能音频分析:音乐信息检索
贡献
EDS在和弦识别中的应用 · 2005–2006
Sony CSL的EDS(Extractor Discovery System)旨在自动发现音频描述符。Cabral与François Pachet和Jean-Pierre Briot一起完成了验证的第一部分:Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition(ISMIR 2005,伦敦;zenodo.1415701,hal-01416436)将经典方法与由无经验用户操作的该系统进行比较,构建了一个吉他和弦识别器。后续工作是Recognizing Chords with EDS: Part One(CMMR 2005,比萨;LNCS 3902,Springer,2006年;doi.org/10.1007/11751069_17,hal-01336914)。同年的姊妹篇是Impact of Distance in Pitch Class Profile Computation(第10届SBCM 2005;hal-01416428,会议论文集PDF)。这是其博士期间第一篇发表于国际会议的论文。
和声与节奏的分析型描述符 · 2007
与IMPA的Luiz Velho,以及Pachet、Pierre Roy和Briot合作:Analytical Features to Extract Harmonic or Rhythmic Information(第11届SBCM 2007;hal-01305977,会议论文集PDF)以及技术报告Some Case Studies in Automatic Descriptor Extraction(里约热内卢,2007年)。
HarmIn · 2007
一个和声进行分析工具,依据Cancioneiro Jobim应用于Tom Jobim的作品,与音乐学家Robert Willey(University of Louisiana at Lafayette)合作。和声进行被转换为和弦之间转移的图,排布在五度圈上,每条边的粗细与其在曲目中的出现频率成正比;作曲家反复出现的和声路径由此清晰可见。Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim获得第11届SBCM(圣保罗,2007年9月1日至3日;研讨会页面)最佳学生技术论文奖。会议论文集PDF。2026年,该工具以便携式skill的形式重新推出,可为指定的艺术家生成五度圈上的转移矩阵。


将音频用作游戏指令 · 2008–2010
Mapping Sounds into Commands(AES 35th International Conference: Audio for Games,伦敦,2008年)和The Acoustick: Game Command Extraction from Audio Input Stream(SBGames 2010),与Roberto Cássio Júnior合作。
公共安全音频监测 · 2010–2014
在 UFRPE,问题变成了如何通过麦克风自动检测枪声、喊叫声、撞击声、环境声和静默。这是 CNPq 技术发展生产力奖学金(2011–2014)、CNPq 项目“Audio Monitoramento para Segurança Pública”(公共安全音频监测,2010–2013)以及 FACEPE 项目“Classificação Automática de Áudio para Monitoramento de Espaços Públicos”(公共空间监测的音频自动分类,第 11/2011 号征集,2012–2014)的研究对象。由此产生了 Dalton Francisco de Araújo 的硕士学位论文 Busca como sistema de apoio à melhoria de classificadores automáticos de áudio(UFRPE,2012,FACEPE 奖学金),以及登记为 Audio Alerta(2012)和 Audio Alerta para segurança privada(2013)的软件,参与者有 Márcio Dahia、Roberto Cássio Júnior、Ivo Frazão 和 Raphael Holanda。Audio Alerta 后来作为 D'Accord 的衍生企业继续发展。
声学特征的进化生成 · 2014–2019
生产力项目“Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação”(2014–)研究的是生成声学特征,而不是手工选择特征。与 José Antonio Alves Menezes 和 Bruno Gomes 合作,期刊成果为 Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features(Inteligencia Artificial,IBERAMIA,第 22 卷第 64 期,2019;doi.org/10.4114/intartif.vol22iss64pp14-35)。
衡量 MIREX 的进展 · 2016
自 2005 年以来,MIREX 一直是音乐信息检索的评测平台。该研究与 Ricardo Scholz 和 Geber Ramalho 合作,汇编了六年的结果,提出了一个可配置的、按任务衡量演进趋势的指数,并讨论了部分任务停滞的若干假设:Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses(ISMIR 2016,纽约;zenodo.1416898)。这是履历中唯一一项关于该领域自身元科学的研究。
副歌、转录与播客 · 2014–2021
基于响度的副歌检测,与 Renato Celso Santos Rodrigues 合作(第 15 届 SBCM 2015;2016 年协同指导的硕士论文);和弦转录的后处理,与 Uraquitan Cunha 合作(第 12 届 AES Brasil,2014);基于元数据、内容和音频的播客热度预测,为 Luiz Delando Santos Moreira Júnior 的硕士论文(2021)。
02 · 基于 AI 的音频分析:音乐信息检索
延续之处
2021 年与 Moises.ai 合作的 Chord Detection Challenge,以及 Computação Musical(音乐计算)课程,其中音乐信息检索是课程四大模块之一。
