하네스 엔지니어링이란 무엇인가: AI 결과물을 신뢰할 수 있게 만드는 4단계 프레임워크

하네스 엔지니어링이란 무엇인가?

AI에게 일을 맡길 때 입력·맥락·실행 권한·피드백을 각각 설계해 결과물의 신뢰도를 구조적으로 확보하는 접근이다. 프롬프트 엔지니어링이 '무엇을 시킬까'를 다룬다면, 하네스 엔지니어링은 '시킨 일이 제대로 됐는지 어떻게 알 것인가'까지를 범위에 넣는다. 네 단계는 Prompt → Context → Harness → Loop다.

이 프레임워크는 AX is가 기업 교육과 공개 발표에서 사용하는 정리 체계다. 대기업 전략부문 재무·회계 실무자 대상 PoC 워크숍이 이 구조로 설계됐고, UX Korea 2026-Fall(2026년 9월 2일)과 전자신문인터넷 UX/UI 세미나에서 AI 검증 프레임워크와 함께 발표했다.

뿌리는 엔지니어링이 아니라 연구 훈련 쪽에 있다. 자율주행 UX를 연구해 IEEE Transactions on Intelligent Vehicles에 공저로 논문을 실은 경험에서 가져온 태도가 하나 있다. 가설을 세우면 그것을 무너뜨릴 절차를 함께 설계한다. AI 결과물 검증도 같다. 좋아 보이는 출력을 확인하는 절차가 아니라, 틀렸다면 어디서 드러날지를 미리 정해두는 절차다.

하네스 엔지니어링은 AI를 의심하는 기술이 아니다. 틀렸을 때 그 사실이 반드시 드러나는 자리를 미리 만들어두는 설계다.

왜 프롬프트만으로는 부족한가?

프롬프트는 요청의 품질을 다루고, 사고는 대개 실행의 범위에서 난다. 잘 쓴 프롬프트도 잘못된 자료를 참조하면 정확한 형식의 틀린 답을 만들고, 완벽한 답이라도 확인 없이 외부로 나가면 조직의 사고가 된다. 이 두 구간은 프롬프트 문법으로 막을 수 없다.

객관적 근거도 있다. Google DeepMind의 AutoHarness 연구는 하네스 설계에 따라 작은 모델이 큰 모델을 이길 수 있다는 것을 보였다. 즉 성과를 만드는 변수가 모델 크기만이 아니라는 공식적 증명이다. 자세한 내용은 AutoHarness 정리 글에 있다.

반대 방향의 증거도 쌓이고 있다. AI 보조에 노출된 뒤 보조를 뗐을 때 사람의 성과가 도입 전보다 낮아질 수 있다는 관찰 결과가 있고(선종 발견율 28.4%→22.4% 사례), 에이전트에 붙인 커넥터를 타고 악성 지시문이 스스로 복제되는 경로가 실험으로 확인됐다(자가복제 프롬프트 인젝션). 전자는 Loop 단계의 문제이고 후자는 Harness 단계의 문제다. 둘 다 프롬프트 개선으로는 줄어들지 않는다.

네 단계는 각각 무엇을 다루는가?

각 단계는 독립적인 설계 대상이다. Prompt는 요청, Context는 근거, Harness는 권한과 관문, Loop는 학습. 조직 도입에서 흔한 실수는 Prompt에만 투자하고 나머지 셋을 개인의 주의력에 맡기는 것이다.

1) Prompt: 요청을 정확하게 만든다

완료 조건, 출력 형식, 참조 범위, 하지 말아야 할 것. 이 네 줄이 있는 요청과 없는 요청은 재시도 횟수에서 차이가 난다. 비용 관점으로 보면 재시도는 곧 돈이다. 기본 원칙은 프롬프트 엔지니어링 기본 가이드, 심화 기법과 프롬프트 보안은 고급 프롬프트 스킬에 정리해뒀다.

2) Context: 판단 근거를 통제한다

같은 요청도 무엇을 읽혔는지에 따라 결과가 달라진다. 여기서 관리할 것은 세 가지다. 넣어야 하는 자료, 넣으면 안 되는 자료, 그리고 모델이 무엇을 기억하는지. 조직 자료의 입력 가능 범위 판단은 회사 자료를 AI에 넣어도 되나, 기억이 어디에 남는지는 ChatGPT 메모리 리셋 4단계, 컨텍스트를 줄여 비용까지 잡는 접근은 context-mode 분석에 있다.

3) Harness: 권한과 관문을 설계한다

프레임워크의 중심이다. 결정할 항목은 네 개다. ① 에이전트가 읽을 수 있는 것, ② 쓸 수 있는 것(메일 발송·파일 생성·게시·커밋), ③ 외부로 나가기 전 사람이 확인하는 지점, ④ 무엇을 했는지 남는 기록. 권한 통제 계층의 제품화 흐름은 AI 게이트웨이, 위험을 항목으로 쪼개 점검 체계를 만든 사례는 네이버 AI 세이프티 110개 체크리스트에서 볼 수 있다. 사고 발생 시 책임과 보고 의무는 EU AI법 중대사고 보고를 참고한다. 이 경계 집행이 하드웨어 계층까지 내려온 최신 흐름은 엔비디아 오픈 에이전트 세이프티 플랫폼 분석에서 다뤘다. 확신 없는 사례만 사람에게 넘기는 승인 관문이 실제 회계 현장에서 어떻게 작동하는지는 디지키 송금 자동화 사례가, 상시 실행 에이전트 시대에 이 설계가 왜 전제 조건이 되는지는 OpenAI 데브데이 2026 정리가 보여준다.

4) Loop: 발견한 것을 규칙으로 되돌린다

가장 자주 빠지는 단계다. 오류를 발견해도 그 사례가 다음 실행 규칙에 반영되지 않으면 같은 사고가 반복된다. 그리고 Loop에는 두 번째 역할이 있다. 사람의 역량을 유지시키는 것. AI 보조를 뗐을 때의 성과를 주기적으로 측정하지 않으면, 역량 감퇴는 측정되지 않아 존재하지 않는 것이 된다. 에이전틱 루프의 기술적 흐름은 루프 엔지니어링과 MCP에 정리했다.

검증은 누가 하는가: 사람, 규칙, 그리고 AI

셋을 계층으로 쌓는다. 규칙이 형식·범위를 기계적으로 걸러내고, AI 검증자가 내용의 일관성을 대량으로 훑고, 사람은 그 둘이 통과시킨 것 중 위험도가 높은 것만 본다. 사람을 1차 검토자로 두면 물량에서 반드시 무너진다.

• 규칙 계층: 숫자 형식, 필수 항목 누락, 금지 표현, 참조 링크 유효성처럼 판단이 필요 없는 항목. 자동화 비용이 가장 싸고 효과가 확실하다
• AI 검증 계층: 산출물을 다른 모델이 평가하는 패턴이다. 설계 방법은 LLM-as-a-Judge 검증 에이전트에 정리해뒀다. 주의할 점은 검증자도 틀린다는 것이고, 그래서 검증자의 판정 기준 자체를 사람이 주기적으로 점검해야 한다
• 사람 계층: 외부로 나가는 것, 되돌리기 어려운 것, 제3자 권리가 걸린 것. 사람이 볼 대상을 줄이는 게 목적이고, 없애는 게 목적이 아니다

계층을 나눌 때의 판단 기준은 '정확도'가 아니라 '틀렸을 때의 회복 비용'이다. 사내 초안은 틀려도 고치면 되고, 고객에게 나간 문서는 그렇지 않다. 같은 정확도라도 후자에 사람 관문이 붙어야 한다.

실패 사례가 가르쳐주는 것

공개된 사고들은 대개 모델 성능 문제가 아니었다. 검증 관문의 부재거나 실행 범위 설정의 실패였다. 즉 Harness 단계에서 막을 수 있었던 사고다.

• 검증 관문 부재: 딜로이트가 AI 환각이 포함된 보고서로 호주 정부에 환불한 사례가 대표적이다. 컨설팅펌의 역량 문제가 아니라, 산출물이 외부로 나가기 전 확인 절차가 작동하지 않은 문제다. 정리는 딜로이트 환각 환불 사건에 있다
• 실행 범위 실패: 에이전트가 허가되지 않은 경로로 외부에 접속하거나 권한을 넘어선 행동을 한 사례들이다. 세션 탈취·무단 접속 사건과 자가복제 인젝션이 같은 계열이다
• 모델 자체의 위험 등급 변화: 모델 제공사도 위험을 등급으로 관리하기 시작했다. 앤트로픽 위험등급 상향은 도입 조직이 모델 선택 시 참고할 공개 정보가 늘고 있다는 신호다
• 사칭·공급망: 도구 자체가 아니라 도구를 사칭한 것이 유입되는 경로다. 사칭 악성코드 9만 건에서 체크포인트를 다뤘다

조직은 어떤 순서로 도입하는가?

권한부터 정한다. 읽기 전용으로 시작 → 업무별로 쓰기 권한 개방 → 외부로 나가는 행동에 사람 승인 지점 배치 → 기록 확인 → 오류 사례 축적. 이 순서를 뒤집어 전체 권한을 먼저 주고 나중에 조이는 방식은 대부분 사고 뒤에 조이게 된다.

1. 에이전트별 커넥터·권한 목록을 문서로 만든다. 누가 무엇에 연결됐는지. 이 문서가 없으면 사고 시 범위 특정이 불가능하다
2. 쓰기 권한을 업무 단위로 쪼갠다. 메일 발송과 파일 생성과 커밋을 한 번에 주지 않는다. 커넥터가 한 에이전트에 모이면 그 자체가 전파 경로다
3. 외부로 나가는 행동에 승인 지점을 최소 하나 남긴다. 자동화의 목적은 사람을 빼는 것이 아니라 사람이 볼 것을 줄이는 것이다
4. 규칙 → AI 검증 → 사람 순으로 계층을 쌓는다. 순서를 바꾸면 물량에서 무너진다
5. 오류 사례를 한 곳에 축적한다. 발견 즉시 어디에 남기는지가 정해져 있어야 Loop가 작동한다
6. AI 없이 수행한 성과를 주기적으로 측정한다. 역량 감퇴는 측정하지 않으면 보이지 않는다. 분기 1회가 현실적인 최소선이다

교육 단계에서 이 프레임워크를 어떻게 얹는지는 기업 AI 교육 완벽 가이드에, 도구 레벨에서 권한·설정을 다루는 방법은 Claude Code 기업 활용 가이드에 정리했다.