노휴먼 리포트 #1 — 에이전트가 하루 만에 제품을 만들고, 스스로 QA한 기록

2026년 8월 10일 하루 동안 일어난 일입니다. 아침에는 AX 진단 챗봇이라는 제품이 존재하지 않았고, 밤에는 프로덕션에서 리드를 받고 있었습니다. 그 사이의 기획, 코드 작성, 배포, QA, 성능 개선은 전부 AI 에이전트가 수행했습니다. 사람이 한 일은 딱 두 종류였습니다 — 방향을 정하는 것, 그리고 경계를 정하는 것.

무엇이 만들어졌나

어느 업종의 방문자든 대화로 AI 도입을 진단받는 챗봇입니다. 업종 → 규모 → 진행 상황 → 추진 담당자 → 병목 순서로 하나씩 묻고, 대화를 근거로 업무 인벤토리·automation frontier·90일 로드맵이 담긴 진단 리포트를 만들어 줍니다. 리포트 다운로드에는 이메일을 받는 리드 수집 장치가 붙어 있습니다. 같은 날 노휴먼 컴퍼니 정의글 한/영 2편과 사이트 카피 개편도 함께 나갔습니다.

사람의 개입 17회는 어디에 있었나

이날 사람(대표)이 시스템에 보낸 지시·결정은 17회였고, 전부 다음 세 범주에 속합니다. 방향 결정 — “노휴먼 컴퍼니로 방향을 잡자”, “챗봇을 만들자”, “모델은 이걸 쓰자” 같은 무엇을 할지의 선택 9회. 품질 요구 — “QA를 돌려라”, “리포트 품질을 평가하라”, “더 다듬어라” 같은 기준 제시 5회. 권한 부여 — 머지·배포 승인과 API 키 사용 허가 3회. 코드를 읽거나 고친 적은 한 번도 없습니다.

에이전트가 스스로 잡은 버그 8건

배포 후 에이전트가 실제 사용자 시나리오로 자체 QA를 돌렸고, 거기서 치명적인 버그 2건이 나왔습니다 — 리포트 생성 버튼이 정상 흐름에서 항상 실패하는 문제와, 인쇄가 빈 페이지로 나오는 문제. 만든 직후의 수동 확인에서는 안 잡혔던 것들입니다. 나머지 6건은 렌더링과 표기 문제였고, 마지막 1건이 흥미로웠습니다 — 진단 리포트가 우리가 약속한 적 없는 서비스 조건(“무료 상담”, “2주 심층 분석”)을 지어내는 문제. 전부 당일 수정·재검증됐습니다.

성능도 QA 대상이었습니다. 리포트 생성이 47초 동안 빈 화면이던 것을 스트리밍으로 바꿨는데, 측정해 보니 모델의 추론 단계가 56초를 먼저 잡아먹어 체감이 그대로였습니다. 리포트 생성은 추론을 끄는 것으로 결론 — 첫 표시가 2.3초로 내려왔고 품질은 4개 업종 시나리오 재평가에서 유지됐습니다.

배운 것

하나, 에이전트도 자기 결과물을 의심해야 한다. 치명 버그 2건은 “만들었고 화면에 보인다”와 “사용자 흐름에서 동작한다” 사이의 간극에서 나왔습니다. 평가 기준을 세우고 실제 시나리오로 QA하는 단계가 없었다면 첫 사용자가 그 버그를 만났을 겁니다. 둘, 병목은 예상 밖의 곳에 있다. 스트리밍이라는 정답처럼 보이는 개선이 체감을 바꾸지 못했고, 원인 측정 후에야 진짜 해법이 나왔습니다. 셋, 사람의 일은 실행이 아니라 결정이었다. 17회의 개입 중 코드에 관한 것은 없었습니다. 이것이 우리가 말하는 autonomous company의 실제 모습입니다 — 실행은 자동화되지만, 책임은 인간이 집니다.

다음 리포트

다음 편은 이 챗봇의 운영 데이터입니다 — 상담 시작 대비 리포트 생성·리드 전환 퍼널, 그리고 사람 개입 횟수의 변화를 공개합니다. 운영 구조 전체는 How we run에서 갱신됩니다.