인공지능에서 유창성이란 무엇이며, 왜 위치가 아니라 움직임을 측정하는가?

2025년 7월 10일 METR은 생산성과 AI에 관한 통제 실험을 발표했다. 숙련된 개발자 16명이 자신의 저장소에서 가져온 246개 과업을 수행했으며, 각 과업은 AI 사용을 허용하거나 금지하도록 무작위로 배정되었다. AI를 사용했을 때 19% 더 오래 걸렸다. 종료 후 이들은 스스로 20% 더 빨라졌다고 추정했다.

2026년 2월 24일 같은 저자들이 연구를 다시 수행했다. 원래 집단에서 돌아온 10명의 결과는 18% 더 빠름이었고, 구간은 38% 더 빠름에서 9% 더 느림까지였다. 저자들 스스로 이 새로운 데이터를 약한 신호라고 부르는데, 작업 시간의 절반을 AI 없이 일하게 하는 연구를 거절하는 초대 대상자의 비율이 늘고 있기 때문이다.

두 측정 사이에 결과의 부호가 바뀌었고, 참가자들의 AI 사용이 달라졌기 때문에 실험 설계는 원래 측정하던 것을 더 이상 측정하지 못하게 되었다. 단계를 부여하는 척도는 척도 자체가 안정적으로 유지된다는 것을 전제로 한다.

Giordano Cabral이 채택한 용어는 유창성이다. 그는 2025년부터 이 용어를 FAROL에서 사용하고 있다. FAROL은 그가 CIn/UFPE에 설립한 연구 그룹이며 2026년에 Instituto FAROL de Fluência Agêntica(에이전트 유창성 연구소)가 된다. 그 이전에는 이 이름 없이 같은 접근이 PsyFun의 게임과 수업 평가에 나타난다.

이 용어는 언어 학습에서 왔다. 연습이 없으면 수준이 떨어진다. 유창성은 축별로 측정되며(조직은 데이터에는 유창하지만 사람에는 그렇지 않을 수 있다), 주변 생태계에 좌우된다.

도입 여부만으로는 더 이상 조직을 구분할 수 없다. 2025년 Stack Overflow 설문에 따르면 응답자의 84%가 개발에 AI를 사용하거나 사용할 계획이며(전년 76%), 46%는 AI가 내놓는 결과의 정확성을 불신하고 33%는 신뢰한다.

AI 성숙도 모델은 안정적인 프로세스를 위해 만들어진 1990년대 소프트웨어 모델을 이어받았다. IA agêntica(에이전트 AI)에서 상세히 다룬 FAROL의 비판은 세 가지다. 최상위로 분류된 조직은 다음 변화에서 잃을 것이 더 많은 경향이 있고, 이런 모델은 표준화에 보상을 주고 실험에는 불이익을 주는데 AI에서는 빠른 폐기에 가치가 있으며, 위치는 속도에 대한 정보를 주지 않는다.

여섯 개의 축(지식, 도구와 통합, 위임과 자율성, 프로세스, 생산성과 성과, 학습과 문화)이 있으며, 각 축에는 264개 문항의 마스터 뱅크에 대응하는 N0에서 N5까지의 고유한 눈금이 있다. 진입 경로는 공개 진단이다. 리더가 사전 등록 없이 3분에서 8분 안에 조직을 대표해 응답하면 즉시 레이더를 받는다. 이후 기업이 하는 일은 transformação de empresas com IA(AI를 통한 기업 변혁)에 있다.

협력하겠느냐고 물으면 아이들은 거의 언제나 그렇다고 답한다. PsyFun의 게임에서는 협력에 자원이 들고, 선택은 약 3초 안에 이루어지며, 화면 어디에도 딜레마라는 말은 나오지 않는다. 6세에서 12세 사이의 아동 162명을 대상으로 한 두 차례의 실험에서, 2021년 Behavior Research Methods에 게재된 결과에 따르면, 아동들은 한 게임에서 다른 게임보다 더 많이 협력했고, 그것도 조건부로 협력했다. 설문지로는 구분되지 않는 두 가지 사실이다. Cabral은 2013년과 2014년에 UFRPE에서 이 그룹을 이끌었고, 2018년까지는 이 그룹의 출발점이 된 CNPq 과제를 이끌었다.

구분의 기준은 사람이 자신에 대해 답하는 것과 그 사람이 실제로 한 일의 기록이다. 두 측정은 오류의 성격이 서로 달라서 합산되지 않는다. 자기 보고는 METR에서처럼 체계적으로, 같은 방향으로 틀리며, 흔적은 기록을 남기는 시스템을 거친 작업만 볼 수 있고 이해한 내용이 아니라 수행한 내용을 기록한다.

Tendências em Mídia e Interação(미디어와 상호작용의 동향) 2026.2학기에서는 각 학생이 과목 시스템 안에서 도구 오백 개를 하나씩 걸러내며, 시스템은 각 도구에 쓴 시간을 기록한다. 규칙은 계획서에 명시되어 있다. 기계가 결과물을 만들어 내면 기계를 조종한 과정을 평가한다. 이 과목은 AI 탐지기를 사용하지 않으며, 기준은 과정의 증거, 즉 저장소, 이력, 근거 설명, 테스트이다. 첫 번째 제출에서 학생 14명이 공용 카탈로그에 5.776개의 도구를 올렸고 659건의 선택을 기록했다.

FAROL에서는 관찰된 사용 현황을 수집 단계 사다리 밖의 별도 축으로 둔다. 이는 당사자가 보고한 내용과 합산되지 않기 때문이다. Meu Mapa de IA는 학생들에게 이미 해 본 일을 묻고, 집계 결과는 Observatório de adoção de IA에 공개되며, 2026년 9월 14일 추출본 기준 응답은 2.943건이다. 이 조사는 횡단 조사이므로 각 주기가 같은 사람들을 추적하지 않는다.

이 측정은 AI가 만들어 내는 결과물의 질을 평가하지 않으며, 어떤 도구도 대화 내용을 어느 서버로도 보내지 않고, 개인별 결과는 공개되지 않는다. 공개 대시보드에서는 응답이 다섯 건 미만인 셀을 숨기며, 그 결과 Observatório에서는 1.394.729개의 셀이 합계에서 빠졌다. 조합을 이용할 수 없다는 것은 0이라는 뜻이 아니다.

두 가지 반론이 지표 옆에 함께 공개되어 있다. 첫째는 굿하트의 법칙이다. 목표가 된 지표는 원래 나타내던 것을 더 이상 측정하지 못한다. 유창성 지표는 세 경로로 취약하다. 사용량에 점수를 주면 조작하기 쉽고, 인증 마크처럼 읽힐 수 있으며, 위임에 점수를 주면 자신의 역량 밖에서 가장 많이 위임하는 사람에게 점수를 주게 된다. 둘째, 공표된 측정은 공개적인 약속으로 작용하며 나중에 법적으로도 책임을 물을 수 있다.

역량 증류(코드 생성을 위임하면 역량 형성에 대가가 따르고, 막 시작하는 사람에게 그 대가가 더 크다)는 Cabral의 글에서 반복해서 나타나는 가설이며 아직 검증되지 않았다. 이를 검증하려면 같은 사람들을 시간에 걸쳐 추적해야 하는데, FAROL의 현재 도구는 횡단 측정을 한다. 2026년에 공개된 공유 자원 게임 Açude는 라운드마다 결정을 기록한다.