사람은 어디에 남아야 하는가 — AI 에이전트 승인 게이트 설계

AI 에이전트를 도입한 조직이 부딪히는 첫 딜레마는 이것입니다. 에이전트의 모든 산출물을 사람이 검증하면 자동화의 이득이 사라지고, 아무것도 검증하지 않으면 언젠가 사고가 납니다. 답은 “얼마나 검증하느냐”가 아니라 어디에 검증을 두느냐에 있습니다.

in-the-loop에서 on-the-loop으로

업계가 수렴하고 있는 원칙은 human-in-the-loop에서 human-on-the-loop으로의 이동입니다. 사람이 모든 단계를 승인하는 대신, 목표와 제약과 경계를 정해두고 오케스트레이션 전체를 감독하는 방식입니다. 사람의 역할은 검토자에서 경계 설계자로 바뀝니다 — 어떤 행동은 에이전트가 그냥 해도 되고, 어떤 행동은 멈춰서 물어야 하는지를 정하는 일입니다.

승인 게이트에 담겨야 할 것

2026년의 에이전트 거버넌스 실무가 수렴한 승인 요청의 형태는 구체적입니다. 게이트에 도착하는 요청 하나에는 다섯 가지가 담겨야 합니다 — 제안된 행동과 파라미터, 에이전트의 추론 과정, 예상 영향과 부작용, 실패 시 롤백 절차, 그리고 승인의 만료 시간. 이 다섯이 없으면 사람은 “승인”이 아니라 “도장”을 찍게 되고, 게이트는 형식이 됩니다.

게이트를 두는 세 가지 기준

어디에 게이트를 둘지는 세 축의 곱으로 판단할 수 있습니다. 되돌리기 어려운가 (배포는 롤백이 되지만 발송된 이메일은 회수가 안 됩니다), 바깥에 닿는가 (내부 초안과 고객에게 나가는 답장은 다른 등급입니다), 판단이 필요한가 (규칙으로 환원되지 않는 트레이드오프인가). 셋 다 낮으면 자동화하고, 하나라도 높으면 게이트를 둡니다.

규제도 같은 방향으로 움직인다

이것은 더 이상 모범 사례에 그치지 않습니다. 싱가포르 IMDA가 2026년 1월 발표한 Model AI Governance Framework for Agentic AI는 에이전트별 검증 가능한 디지털 신원과 “어떤 에이전트가 누구의 권한으로 행동했는가”의 감사 추적을 요구하는 최초의 포괄적 프레임워크입니다. EU AI Act는 고위험 도메인의 에이전트에 대해 2026년 8월 2일까지 human oversight 체계와 로그 보존을 의무화했습니다. 게이트와 감사 추적은 선택이 아니라 준비물이 되고 있습니다.

관측 없이는 게이트도 없다

게이트가 작동하려면 전제가 하나 있습니다 — 에이전트가 무엇을 하고 있는지 볼 수 있어야 합니다. 에이전트 관측가능성 실무는 메트릭·트레이스·로그에 평가(evals)를 더한 네 층으로 정리되고 있고, 배포 전 평가 기준이 그대로 운영의 가드레일이 되는 eval-to-guardrail 순환이 표준으로 자리 잡는 중입니다.

우리 실전

Notique는 실행을 세 칸으로 나눠 운영합니다 — 자동화됨, 사람 승인 게이트, 아직 사람. 릴리스 판단과 콘텐츠 발행과 고객 응대가 게이트에 있고, 계약과 규제 책임은 사람 칸에 있습니다. 이 배치가 항상 옳다고 주장하지 않습니다 — 배치 자체를 How we run에 공개해 두고, 틀린 것이 드러날 때마다 옮깁니다.