코드를 에이전트가 작성하면 소프트웨어 공학에서 무엇이 달라지는가?

코드를 생산하는 일은 더 이상 병목이 아닙니다. 원하는 바를 정확하게 명세하고, 에이전트가 돌려준 것을 검증하고, 납품한 결과물에 책임지는 일이 그 자리를 차지합니다.

외부의 두 가지 측정이 문제의 범위를 보여 줍니다. 2025년 Stack Overflow 설문에 따르면 개발자의 84%가 AI를 사용하고, 46%는 정확성을 신뢰하지 않는다고 답했으며 신뢰한다는 응답은 33%였고, 66%는 "거의 맞지만 완전하지는 않은" 해법을 경험했다고 보고했습니다. 또한 2025년 7월 METR의 통제 실험에서는 성숙한 프로젝트를 다루는 숙련 개발자들이 AI를 쓰면 19% 더 느려졌지만, 스스로는 20% 더 빠르다고 믿었습니다. 그래서 이 진단은 관찰 가능한 실무를 묻습니다.

이 질문들은 소프트웨어 기업을 위한 FAROL 운영 숙련도 진단의 뼈대입니다. 각 질문은 에이전트 이전에는 존재하지 않았거나 비중이 크지 않았던 공학적 결정 하나에 해당합니다.

• 컨텍스트를 관리하는 방법: 모델의 컨텍스트 창에 무엇을 넣고 무엇을 뺄 것인가.
• 변동 비용인 토큰 소비를 통제하는 방법.
• 입력 산출물이 된 좋은 명세를 작성하는 방법.
• 에이전트의 harness를 설계하는 방법: 도구, 한계, 그리고 에이전트가 실행되는 환경.
• 한 에이전트가 다른 에이전트들을 조율할 때 에이전트를 단계별로 오케스트레이션하는 방법.
• 아무도 직접 입력하지 않은 코드의 품질을 보장하는 방법.
• 같은 입력이 같은 출력을 내지 않으므로 비결정성을 다루는 방법.
• 실시간 페어링과 백그라운드 위임 중에서 선택하는 방법: 사람이 세션에서 모든 단계를 지켜볼 것인가, 아니면 에이전트가 결과를 돌려줄 때까지 혼자 실행하게 둘 것인가.
• 새로운 공격 표면인 프롬프트 인젝션을 방어하는 방법.
• 체감이 아닌 실제 생산성을 측정하는 방법.
• 로컬에서 실행되는 것과 기기 밖으로 나가는 것.
• 작업의 대부분이 있는 레거시 코드에 AI를 통합하는 방법.
• 실험에서 운영까지 에이전트 기반 생명주기를 조직하는 방법.
• 생성을 위임할 때 사람의 숙련도를 유지하는 방법.
• 이에 맞추어 팀을 재편하는 방법.

인간의 숙련도에 관한 질문에는 하나의 입장이 깔려 있습니다. 그룹의 작업 가설은 코드 생성을 위임하면 숙련도 형성에 대가가 따르며, 그 영향은 이제 막 시작하는 사람에게 더 크다는 것입니다. 그곳에서는 역량의 증류를 거부하는 것을 제품의 요건으로 다룹니다.

엔지니어링 부문의 진단인 FAROL Software를 통해서입니다. 이 진단은 기업을 네 가지 영역(기술 기초, 에이전트 계층, 품질과 위험, 조직과 사람)으로 나누어, FAROL의 264개 항목 마스터 문항은행을 기준으로 측정합니다.

• 진행 방식: 자가 응답식이며 15분에서 60분 정도 걸립니다. 매핑 질문 37개(어휘 및 개념 목록)가 있고, 선택적으로 기업이 각 개념을 실제로 어떻게 운영하는지를 묻는 실무 질문 77개가 추가됩니다. 한 화면에 질문 하나, 0~4 척도이며, 결과는 영역별 점수, 레이더 차트, 다음 단계로 제공됩니다.
• 출처: 조직 성숙도 플랫폼과 협력한 CIn-UFPE의 연구로, Anthropic, OpenAI, Google, IEEE, ACM, Linux Foundation과 브라질 사례를 포함해 60개 이상의 자료를 종합했습니다.
• 현재 상태: 버전 0.1이며 MVP로 명시되어 있습니다.

에이전트를 측정하는 일은 사람을 측정하는 일과 다릅니다. 작업의 흔적이 도구에 남고, 도구마다 기록하는 내용이 다르기 때문입니다. 에이전트 상호작용 텔레메트리 벤치마크는 관찰 도구들(Claude Code, Codex, Cursor, Copilot 등)을 공개적으로 선별한 것으로, 기능 목록이 아니라 각 도구가 보지 못하는 것을 기준으로 비교합니다.

https://telemetria-interacao-agentes.vercel.app

같은 논리가 교육에도 적용됩니다. Giordano Cabral이 담당하는 Tendências em Mídia e Interação 과목의 시스템인 Hiper Deep Research에서는 텔레메트리가 걸러 낸 항목마다 소요된 시간을 기록합니다. 평가 대상이 과정이며, 500개 항목을 읽었다는 사실은 최종 결과물에 나타나지 않기 때문입니다. 이 시스템은 build 과정과 프레임워크 없이 작성되었으며, 기본 ES 모듈과 그 뒤의 Supabase로 구성됩니다. 고유성 규칙(하나의 도구는 단위당 한 명의 학생에게 속함)은 데이터베이스에서 복합 기본 키로 구현되어 있습니다.

Arsenal of Tools는 도구, CLI, MCP 서버, 모델, API, 그리고 "진주"를 모은 공개 카탈로그입니다. 범용 어시스턴트가 뻔한 답을 앞세우느라 빠뜨리기 쉬운 long tail을 다룹니다. 본인과 학생, 실무자가 쓰기 위해 만들어졌습니다.

2026년 9월 18일 기준 버전 3.7에는 320,483개 항목이 담겨 있었습니다. 카테고리 1,483개, 태그 174,869개, 국가 102개, CLI 23,197개, MCP 서버 8,554개, Hugging Face 모델 80,506개, API 24,919개, 소셜 미디어에서 찾은 항목 28,678개이며, 공개 목록, 마켓플레이스, 뉴스레터, 잡지 632곳에서 수집했습니다.

검색은 브라우저에서 실행되며 조회할 때마다 모델을 호출하지 않습니다. 광고도 추적도 없습니다.

여러 어시스턴트 세션을 동시에 운용하다 보면 창을 바꿀 때마다 이미 내린 결정의 이유를 잃게 됩니다. Cabral이 채택한 방법은 침전(decantação) 프로토콜입니다. 각 결정을 이유, 폐기한 대안, 그 결정이 지켜지고 있는지 확인하는 방법을 담은 파일로 만듭니다. 이 프로토콜은 AI 자신이 작업 자료로부터 정리한 지식 베이스를 바탕으로 하며, 이 베이스는 대화가 아니라 개념, 프로젝트, 사람별로 구성됩니다. 2026년 9월 3일 조사 시점에 이 베이스에는 자료 958건, 개념 38개, 프로젝트 32개, 사람 180명, 조직 24개가 있었고, 하루 네 번 수집됩니다.

이 베이스는 작업용이며 공개되지 않습니다. 방법과 도구는 공개되어 있습니다. mad (MultiAgent Decanting)는 MIT 라이선스 플러그인으로, 결정 기록이 내장된 상태로 에이전트 팀이 작업하게 하며, 역시 공개된 플러그인 마켓플레이스를 통해 배포됩니다.

• https://github.com/giordanorec/multiagents-decanting
• https://github.com/giordanorec/ai-coding-tools

이를 skill로 패키징합니다. 어떤 어시스턴트든 불러올 수 있는 Markdown 파일이며, 작업을 설명하는 데 그치지 않고 단계별로 이끕니다. 사용 중인 예가 세 가지 있습니다.

• Projetão para a era da IA — 2002년 CIn/UFPE에서 만든 혁신 프로젝트 방법론을 10개의 퀘스트, 13개의 마일스톤, 20편의 정독 도서로 다시 구성하여 Claude, ChatGPT, Cursor, Copilot, Codex, Gemini 안에서 실행할 수 있도록 했습니다. 각 퀘스트는 AI 사용 방식을 명시합니다. 지원 없음(현장 조사와 인터뷰는 의도적으로 그렇게 합니다), 지원 사용(AI가 비평하고 짚어 줍니다), 공동 생산(AI가 생성하고 사람이 검증하고 책임집니다)이 그것이며, 퀘스트의 색은 가장 제한적인 방식을 나타냅니다.
• Acervo de Teorias Acionáveis(실행 가능한 이론 아카이브) — 두 층으로 구성된 경영학 이론 자료로, 설명하는 교육 자료와 실행하는 이식 가능한 skill로 이루어져 있습니다. 이론 3개, 완성된 skill 3개, 데이터베이스에 도서 368권이 있다고 밝히고 있으며, 공개된 모듈 중 가장 완성도가 높은 것은 일곱 개 모듈로 된 Running Lean이고, 내려받을 수 있는 .skill 파일이 있습니다.
• 학생들의 skill. Tendências em Mídia e Interação(미디어와 상호작용의 동향) 수업에서 각 학생은 스크립트로 검증되는 네 가지 요건을 갖춘 자신만의 탐색(prospecção) skill을 만들고, AI가 어디에서 틀렸는지와 그것을 어떻게 알아차렸는지에 대한 기록을 함께 제출합니다.

Giordano Cabral은 생성형 AI 이전부터 소프트웨어를 개발해 왔습니다. 2000년 CIn에서 작성한 석사 학위논문의 시스템은 Daccord Music Software의 기원이 되었으며, 이 회사는 Recife BEAT에서 사전 인큐베이션을 거쳤고 제품은 국제 시장에서 판매되었습니다. Lattes 이력서에는 컴퓨터 프로그램 93건이 등록되어 있습니다.

전체 목록은 www.cin.ufpe.br/publicacoes/에 있고, 현재 운영 중인 시스템은 www.cin.ufpe.br/projetos/에 있습니다.