Forschung & Ergebnisse

• Flow Machines. Brazyle (2017), eine Datenbank brasilianischer Musik, ist der brasilianische Teil des Projekts Flow Machines von Sony CSL Paris zur künstlichen Intelligenz für musikalisches Schaffen, hervorgegangen aus dreijähriger Zusammenarbeit mit dem Team von Sony, Flow Records und später Spotify. Aus dem Projekt ging das Album Hello World (2018) hervor, eines der ersten mit künstlicher Intelligenz erstellten Alben (Albumcredits).
• Daccord. D'Accord Guitar, das System aus der Masterarbeit, das aus dem Akkordschema die Gitarrenbegleitung erzeugt, wurde das erste Produkt von Daccord Music Software und erreichte bis 2003 2 Millionen Nutzer (Präsentation des MusTIC auf der SBCM 2019). Später folgten das Akkordwörterbuch, die Programme zum Erlernen von Gitarre, Keyboard und Schlagzeug sowie iChords, das die Akkorde einer Aufnahme erkennt (iChords bei Google Play).
• Öffentliche Sicherheit. Die automatische Audioklassifikation, erforscht in Projekten des CNPq und der FACEPE von 2010 bis 2014, führte zu den Systemen von Audio Alerta, die Mikrofone mit Überwachungskameras koppeln, um Schüsse und Explosionen zu erkennen, zu klassifizieren und zu lokalisieren (Artikel des MusTIC, §3.8).
• Spiele. Drums Challenge HD von MusiGames, der Geschäftseinheit für Spiele, war 2010 das meistverkaufte Musikspiel für das iPad in den Vereinigten Staaten und im Vereinigten Königreich (JC Online, 04.04.2012).
• Schulen. Turma do Som, Teil der Plataforma Digital de Educação Musical (CNPq und FINEP, 2010–2014), brachte 25 Spiele zur musikalischen Früherziehung an Schulen in Pernambuco, São Paulo und Minas Gerais und war 2015 Finalist des Prêmio Jabuti in der Kategorie Digitales Kinderbuch (Pressemappe, 2012; Escribo, 2015).
• Artikelpreise. Bester technischer Studierendenartikel des 11. SBCM (2007), mit dem HarmIn, angewandt auf das Werk von Tom Jobim, und bester Artikel des 17. SBCM (2019), mit dem TumTá und dem Pisada (Portal des CIn).
• Konferenzen und Fachzeitschriften. IJCAI 2015, in einer Demonstration mit dem Sony CSL Paris; ISMIR 2005 und 2016 sowie die eingeladene Sitzung Why Is Brazilian Guitar Interesting? auf der ISMIR 2013; NIME 2013, 2015, 2019 und 2021; SIGGRAPH 2010 (Poster); IEEE ISM 2008 und 2009; HCI International 2014. In Fachzeitschriften Organised Sound (2013), IEEE MultiMedia (2017, mit der McGill und dem Inria), Computers in Human Behavior (2017) und Behavior Research Methods (2021) (Publikationen).
• Öffentliche Politik. Leitender Forscher von Preparing Brazil's Youth der Stanford Impact Labs (2025), das in einem randomisierten Experiment die berufliche Bildung an mehr als 130 öffentlichen Schulen in Pernambuco evaluiert (Stanford Impact Labs).
• FAROL. Offene Instrumente zur Messung von Fluenz in agentischer KI: die Skala mit sechs Achsen, mit einer Bank von 264 Items; der KI-Index für Unternehmen, ohne Registrierung; der Meu Mapa de IA, für Studierende; und die Arena das IAs, in der 124 KI-Modelle die 104 Spiele der Fußball-Weltmeisterschaft 2026 vom 11.06. bis 19.07. tippten, im selben Ranking wie Menschen (farol-ia.org; Arena das IAs).

1. Agentische künstliche Intelligenz und Organisationen (FAROL) · 2025–. Messen, wie Organisationen und Menschen mit KI arbeiten, die ganze Aufgaben ausführt; die Skala mit sechs Achsen, der KI-Index für Unternehmen, die offenen Instrumente und die Arena das IAs (2026).

2. Echtzeit-Erzeugung von Musik und Audio · 1999–2015, 2021 wieder aufgenommen. Vom D'Accord Guitar (2001) über die Dissertation Harmonisation automatique en temps réel (2008) bis zum Ramin; die Anwendungsdemonstration auf der IJCAI 2015 mit dem Sony CSL; der Brazyle (2017).

3. Audioanalyse mit KI: Music Information Retrieval · 2005–2019. Die Validierung des EDS bei der Akkorderkennung (ISMIR 2005), der HarmIn (2007), die Audioüberwachung für die öffentliche Sicherheit an der UFRPE und der Entwicklungsindex des MIREX (ISMIR 2016).

4. Digitale Musikinstrumente und das MusTIC · 2011–. Sketchument, Illusio, die Methode und das Prototyping-Toolkit mit der McGill und dem Inria (IEEE MultiMedia, 2017), die beiden Patente des VioLED, der TumTá und der Pisada.

5. Spiele, Entscheidung und soziale Dilemmata · 2013–. Das Projekt Decisores Virtuais, mit computergestützten Entscheidungsmodellen, die Gruppe PsyFun und die beiden validierten Spiele als Gefangenendilemma für Kinder.

6. Multimedia, Computer Vision und Mixed Reality · 2005–. Vom Framework für Schlagzeugsysteme (2005) über Computer Vision für Diagnostik und Bewegungsanalyse bis zum Mixed-Reality-Protokoll auf Laptops mit dem Voxar Labs (2022) und zum Mixed-Reality-Patent mit Samsung und der UFPE (2024).

7. Bildung und Bildungstechnologien · 2008–. Der Turma do Som, das Buch bei Ática, Spiele und Virtual Reality in der Schule, geschlechtersensibles computergestütztes Denken, die Zeit als Visiting Scholar in Stanford und die Erhebung dazu, wie Studierende mit KI arbeiten.

• FAROL: Forschungsgruppe, 2025 mit Filipe Calegário am CIn/UFPE gegründet, die 2026 zum Instituto FAROL de Fluência Agêntica wird. Sie misst die Fluenz von Organisationen und Menschen in agentischer KI. farol-ia.org
• MusTIC: Música, Tecnologia, Interatividade e Criatividade (Musik, Technologie, Interaktivität und Kreativität), Forschungsgruppe des CIn/UFPE, 2011 gegründet und von ihm gemeinsam mit Geber Ramalho und Filipe Calegário koordiniert. mustic.cin.ufpe.br
• PsyFun: digitale Spiele für die kognitive Psychologie. Im Oktober 2013 von ihm an der UFRPE begonnen; heute zwischen dem CIn/UFPE und der UNIVASF angesiedelt, mit Guilherme Ribeiro Eulálio Cabral.
• Voxar Labs: Labor für Virtual und Augmented Reality des CIn/UFPE, geleitet von Veronica Teichrieb, mit der er zusammenarbeitet. voxarlabs.cin.ufpe.br

Die Zusammenarbeit mit Frankreich besteht seit 2001 fort: das Projekt Smart-es (UFPE × Université Paris VI, 2001–2004, Leitung Geber Ramalho), die Promotion zur generativen künstlichen Intelligenz am LIP6 bei Jean-Pierre Briot und François Pachet (2003–2008), die Prüfungskommissionen am IMPA mit beiden (2009 und 2010), Briot in der Prüfungskommission von Eduardo Santos Silva (2022) sowie die drei Texte über KI in Brasilien, die 2024 bei HAL hinterlegt wurden. Mit den Vereinigten Staaten: Visiting Scholar am Lemann Center der Stanford University von September 2023 bis August 2024 und leitender Forscher des Projekts Preparing Brazil's Youth der Stanford Impact Labs (2025). Mit Kanada und Frankreich: die Koautorenschaften mit Marcelo Wanderley (McGill) und Stéphane Huot (Inria) zwischen 2015 und 2017. Er war Berater (Advisory Board) des europäischen Projekts PRAISE (FP7, 2012–2014) und Gutachter von CNPq-Projekten in den Jahren 2011, 2012 und 2013.

In der Brasilianischen Computergesellschaft: Technisches Komitee des SBCM 2007, 2009 und 2011, Chair des Technischen Komitees 2013, lokaler Organisator des 12. SBCM (Recife, 2009) und Generalkoordinator des 18. SBCM (2021, mit Filipe Calegário); Leitungskomitee der Sonderkommission für Computermusik von 2011 bis 2014 und von 2021 bis 2022 sowie Präsident der Kommission 2022–2023; Technisches Komitee der ICMC 2010.

Zählungen aus dem Lattes (19.08.2026), dem Portal des CIn und den Zitationsdatenbanken (24.09.2026). Die bibliografische Produktion beginnt 2001: Es sind 88 einzelne Arbeiten bis 2023; die von 2024 bis 2026 stehen unter Publikationen.