Criatividade Computacional

Criatividade Computacional(IF866)は Filipe Calegário が創設した科目で、Giordano Cabral が2020.3から2023.1まで共同で担当した。60時間の選択科目で、2020年からCInが開講し、2022.2からはUFPE全体に開放されている。試験はなく、評価はプロジェクトと、自身のプロセスについての振り返りレポートによる。2020年のクラスから2023年のクラスまでの間に、扱うツールはStyleGAN2やDeepDreamからChatGPTやGPT-4へと移り、プロジェクトには前月に公開されたツールも取り入れられた。

共同担当は6回: 2020.2(IF760)、2020.3(IF767、遠隔)、2021.1、2021.2、2022.2、2023.1(IF866)。Giordano Cabral がポスドク研究のため離任したことにより、2023.2以降は Filipe Calegário のみで科目が続けられた。彼のリポジトリには2023.2から2024.2までのプロジェクトが保管されている。

各学生は、共通のテンプレートにこの分野の事例を記録し、創造性に関するコンテンツを制作します。学期ごとのツール(年度に応じて StyleGAN、VQGAN+CLIP、DALL·E 2、Stable Diffusion、GPT-3、LangChain)を試用し、公開ギャラリー付きで「アーティストの立場に立つ」個人制作プロジェクトを行います。またチームで最終プロジェクト(計算論的創造性のツール)に取り組み、ピッチ、低忠実度のプロトタイプとアーキテクチャ、部分的に動作するシステム、発表、ポストモーテム、360度評価を行います。2022.2には、13件の最終プロジェクトがCInの階段講堂で一般公開のセッションとして発表されました。

• https://github.com/filipecalegario/criacomp
• https://portal.cin.ufpe.br/2022/11/18/disciplina-de-criatividade-computacional-e-ofertada-para-alunos-da-graduacao-de-toda-ufpe/

2020.2 · IF760 Criatividade Computacional(計算創造性)(Tópicos Avançados em SI 3)、2021年5月から8月

Filipe Calegárioのクラス。本人の招きにより、Giordano Cabralが共同担当教員として2021年5月から参加。

• Xilogravuras com StyleGAN2-ADA — 木版画から生成した抽象的な画像を、スタイル転送によってアーティストの創造性を刺激する成果物へと変換したもの。チーム:Alyson Tabosa, Josenildo Vicente de Araújo, Vinícius Padilha Garcia, César Bulhões, Renato Joaquim de Miranda Ferreira。
• Gerador de camisas com Style Transfer — 白紙のマスク1枚と、1〜2枚のスタイル画像から生成したTシャツ。チーム:Aldiberg Gomes, Arthur de Castro, Christian Moura, Rodrigo Albuquerque, Ruy Ovídio。
• PombaYorquenses (ou pessoas-abacaxi) と Expression Transfer — パイナップルの画像297枚で学習させたStyleGAN2-ADAのFFHQモデルで、その特徴を顔に取り込む。チーム:Anderson Henrique, Gabriel Amancio, Geraldo de Medeiros, Lucas Albuquerque, Saulo Alexandre。
• LombraDream — 入力画像にDeepDreamを適用してサイケデリックなパターンを生成するColabのツール(チーム5)。
• Deep Creep — Google Colab上でスタイル転送を用いて行うDeepDreamのシミュレーション。チーム: Germano Carvalho, Douglas Santos, Arthur Santos, Gabriel Barbosa, Lucas Emanuel。

2020.3 · IF767 Criatividade Computacional(計算創造性)、2020年8月〜12月(リモート)

パンデミック期の補講学期における、Giordano Cabralとの最初の開講。

• Moodinator — Anderson Henrique Batista da Silva, Gabriel Amancio da Silva, Geraldo de Medeiros Galvão Neto, Hitallo Cavalcanti da Silva, Lucas Alexandre Figueiredo Albuquerque, Matheus de Andrade Lima, Mateus Nunes Galdino da Silveira。
• 「おはよう」画像ジェネレーター — メッセージグループで出回る挨拶画像を生成する。チーム: Cláudio Carvalho, Douglas Cavalcante, Evaldo Júnior, Lucas Silva, Luan Brito, Marina Barros, Rodrigo Ferreira。
• Funkfy — 既存の2曲から新しい曲を作る。グループ8(音楽): Daniel Bastos, Felipe Araújo, Gabriela Heimer, José Gabriel, Lucas Mendonça, Pedro Souza, Ruy Ovídio。
• CreativeSoundtrack — 感情に基づいてパーソナライズされたサウンドトラックを生成するUnity用ツール。グループ2: André De' Carli, Daniel Filgueira, Danilo Freitas, João Moura, Lucas Valença, Rodrigo Cunha, Victor Miranda。
• Comfeats — textgenrnnとPythonを用いて、アーティストのスタイルで歌詞を生成するジェネレーター。チーム: Alecsandro Silva, Arthur Moreira, Eulália Aires, Igor Poncell, Isabel Lima, Pamella Bezerra, Victor Aguiar。
• RPGキャラクターのランダムジェネレーター — André Carneiro, Andrey Moutelik, Arthur Pires, Jonathan Santos, Victor Brayner。
• ランダム地形ジェネレーター — Guilherme Afonso Galindo Padilha, Lucas Thierry Chaves Muniz。
• ユーザーの写真に応じて変化するペット — グループ1: Aline Gouveia, Daniel Perazzo, Leão Liu, Mário Wessen, Mayara Gomes, Nara Souza, Rebeca Silva。
• 古代ギリシャ人のお出かけ — グループ7。

2021.1 · IF866 Criatividade Computacional(計算創造性)、I9クラス(2021年9月〜12月)

リモートクラス。

オリジナルプロジェクト:

• オリジナル作品展 — Nvidia Canvasで制作した仮想風景。チーム: Bruno, Luis, Matheus, Ramon, Rodrigo, Lucas。
• Cadeiras Surrealistas(シュルレアリスムの椅子)とArte Cultural(後者はOutfitAfricaとして継続)。

最終プロジェクト(ツール):

• OutfitAfrica — アフリカの模様で学習させた新しいStyleGANモデル。チーム: Rodrigo de Lima Oliveira, Matheus Hopper Jansen Costa, Lucas Florêncio de Sousa。コード: https://github.com/luucaslfs/outfit-africa-stylegan。
• Easy Sonic Dreams — 音声生成のためのインターフェース。チーム: Bruno Nunes de Mesquita, Lucas Nascimento Tavora, Luis Carlos Lacerda Durans, Matheus Jose Mota de Oliveira, Ramom Jose Correia Santos, Rodrigo Brayner Lyra。
• RPG text generator — GPT-3によるRPGテキストジェネレーター。チーム: Anderson Rufino, André Luiz, Hiago Almeida Dias, Lucas Vinicius, Débora Dias, Filipe Samuel。コード: https://github.com/debfdias/rpg-text-generator。
• Discord用ダジャレボット — ジョークでファインチューニングしたGPT-2が、コマンド「$trocadalho」に応答する。チーム: Matheus Borba, Lucas Barros, Ítalo Ribeiro, Tiago Moraes, Saulo Guilhermino。
• Beat Generator — Glitch上のlo-fiビートジェネレーター。チーム: Laís Bandeira, Maria Júlia Feitosa, Rafael Jesus de Araujo Vasconcelos。
• OpenAI Jukeboxを用いたプロジェクト。チーム: André Ferreira, André Luís, Antônio Netto, Heitor Santos, João Vítor Valadares, Marcos Prysthon, Robson Pereira。

2021.2 · IF866 Criatividade Computacional(計算創造性)、2022年2月〜5月

オリジナルプロジェクト:

• Weird Hal I.A.kovich: paródias gerativas — Weird Al Yankovicへのオマージュとして、AIが生成したパロディを集めたギャラリー。チーム: Pietro Masur, Gabriel Nogueira, Anderson Cesar, André Valença, Pedro Basílio。
• Kpopifier — Bruno Martins, Eduardo Silva, José Lima, Magnon Souza, Tiago Campêlo。
• abbey.sloth — 作品とテキストがすべて生成された、Instagramで公開されている人工的なアーティスト(グループ1)。
• Na pele do autor — スタイル転送による、画家(Romero Britto、ダリ、Portinari、Anita Malfatti、モネ、ミロ、ムンク)のスタイルの画像コレクション。

最終プロジェクト:

• Antonoffer — 「完璧な音楽プロデューサー」: MP3と希望のスタイルを受け取り、スタイル転送でミックスした曲を返す。チーム: Bruno Martins, Magnon Souza, Tiago Campêlo。コード: https://github.com/tiago-ds/style-transfer-criatividade-computacional。
• Cluster Art — カラーチャンネルのk-meansクラスタリングでテクスチャ化した画像。チーム: Charles Gabriel Carvalho Cristóvão, Heitor da Rocha Coimbra, Pedro Didier Maranhão, Pedro Tenório Lemos。
• Cegonha — 選択を重ねるごとに精度を高めていく赤ちゃんの名前の推薦システム。チーム3: Anderson Cesar, André Valença, Gabriel Nogueira, Pedro Basílio, Pietro Masur。
• Gerador de Frases Desmotivacionais(やる気を失わせる文章の生成器) — BERT、GPT-2、GPT-3をファインチューニング。チーム: Antonio Paulino, Eduardo Luiz Silva, José Lima, Thiago Henrique Lopes da Silva, Wellisson Franklin Cordeiro。
• Web-DSCRIPT — テキストを「異星人の」文字(Dimensional Script)に変換し、書籍、ゲーム、ジュエリーの世界観づくりに用いる。
• Gerador de linhas sobre imagens(画像上の線の生成器) — 速度、色、サイズを調整しながら、画像の上にアニメーションする線を描く(グループ1)。コード: https://github.com/FactorMouk/CC-ProjetoFinal。

2022.2 · IF866 Criatividade Computacional(計算創造性)、2022年11月から2023年4月まで

UFPE全学に開かれた開講。定員70名、対面形式。

• FearflixAI — 1つのテキストプロンプトからホラーの短編を生成する(グループ1)。
• DSDoc — ソフトウェアドキュメントの生成支援ツール。チーム: Erik de Gouveia Zambom, Felipe Durant Freire, Júlia Monteiro Cardouzo, Mateus Gomes de Melo, Matheus Marinho de Morais Leca, Matheus Victor Alves da Silva。コード: https://github.com/dejardim/dsdoc。
• FlickTunes — Voicemod Text-to-Song を利用して、テキストを音楽に変換するブラウザ拡張機能。チーム: Elaine Cruz, Leonardo dos Anjos, Marco Antônio, Maria Augusta, Matheus Felipe, Rafael Rodrigues。コード: https://github.com/leonardoAnjos16/FlickTunes。
• Narrative Genie — GPT-3とStable Diffusionによる架空世界の作成(キャラクター、場所、地政学、画像)(チーム5)。
• Harmonização publicitária(広告のためのハーモナイゼーション) — José Wilson, Mateus Alves, Mateus Costa。
• LogoMAIker — 顧客のニーズに基づくロゴの生成。グループ10: Artur Leal Brito Sales, Carlos Frederico Pereira Júnior, Carlos Eduardo Mendonça Clark, Cauê Addae da Silva Gomes, João Marcos Lyra Vieira(グループのオリジナルプロジェクト: 「Coleção Magic Brasil」)。
• Demixagem com acordes de violão(アコースティックギターのコード付きデミキシング) — 楽曲のトラックを分離し、伴奏用のコードを生成する。グループ8(BSI): Alexsandro Henrique, Daniel Moraes, Gustavo Nascimento, Luis Gabriel, Vinicius Luiz。

• リンク: https://portal.cin.ufpe.br/2022/11/18/disciplina-de-criatividade-computacional-e-ofertada-para-alunos-da-graduacao-de-toda-ufpe/ · https://portal.cin.ufpe.br/2023/04/12/disciplina-pioneira-de-criatividade-computacional-do-cin-apresenta-projetos-inovadores-em-ia-gerativa/

2023.1 · IF866 Criatividade Computacional(計算創造性)、2023年5月から9月まで

プログラム: 実験、画像合成の年表、倫理的課題、LangChainとFlowise、Stable Diffusion(Web UIとDeforum)、DALL-E 2とMidjourney、ChatGPTとGPT-4による画像とテキストのためのプロンプトエンジニアリング、その他のモダリティ、7月に発表するオリジナルプロジェクト、アイデア発想の手法、3つの経路を持つ形態分析表、そして段階的に進める最終プロジェクト(ピッチ、アーキテクチャ図を伴う極めて低忠実度のプロトタイプ、部分的に動作するシステム、発表、ポストモーテム、360度評価)。

オリジナルプロジェクト:

• Visual Novels com IA(AIによるビジュアルノベル) — 楽曲の歌詞をもとにChatGPTが生成した物語。背景とキャラクターもAIが生成する(グループ10)。
• Passo a Passo: Vocais da Loirinha — Alice Oliveira, Ana Letícia, Guilherme Morone, Williams Santiago, Matheus Godinho, Enrique Laborão, Marcello Menezes。
• Coleção de artefatos autorais criados por IA generativa(生成AIで作成したオリジナル作品のコレクション) — David Mateus Leite da Silva, Gilberto Medeiros de Oliveira Junior, Jailson Soares da Silva Junior, Lucas Luis de Souza, Maria Paula Perazzo Sampaio, Mateus da Silva Olegario, Maurício Alves da Silva Junior。

最終プロジェクト:

• Flashi — 外国語を学ぶためのフラッシュカードアプリ。例文はAIが生成する。チーム: Camila Xavier, Breno Cavalcanti, Felipe Souza, Bianca Duarte, Luísa Mendes, Maike Menezes, Roseane Oliveira。コード: https://github.com/maikermenezes/flashi-app-front。
• Real-Time Visual Novel — GPT-3.5のAPIでリアルタイムに生成する短いインタラクティブな物語。各場面のキーワードからDALL-Eが画像を生成する(グループ10)。
• Synk Dive — 視覚と文章の入力から生まれる「多感覚的な調和」を体験する没入型の作品。
• iNOVE — 説得的な商品ページの生成。チーム: Luan Eustáquio, Luís Felipe Oliveira, Maria Luiza, Matheus Lafayette, Matheus Paixão, Pedro Basílio。
• 楽曲・アルバムのカバー生成 — 歌詞の感情を分析し、新規のカバーを生成する(グループ5)。

その後の開講(Filipe Calegário)

• リンク: https://github.com/filipecalegario/criacomp