몇 년 전까지 “AI를 잘 쓴다”는 말은 “프롬프트를 잘 쓴다”는 뜻이었습니다. 지금은 에이전트가 팀 단위로 코드를 쓰고, 리뷰하고, 배포까지 합니다.
이 글은 프롬프트 → 컨텍스트 → 하네스 → 오케스트레이션 → 평가(Evals)로 쌓이는 AI 엔지니어링의 5계층을 정리합니다. 다섯 계층은 From Code to System, 곧 코드를 쓰는 기술에서 AI를 포함한 시스템을 설계하는 기술로 향하는 한 방향을 가리킵니다.
2026-04-18 기준. 업계 용어는 빠르게 변하므로 인용 원문 날짜도 함께 표기했습니다. 일부 용어(특히 Harness Engineering)는 여전히 확산 초기 단계임을 감안하고 읽어 주세요.
한 장으로 보는 AI 엔지니어링 5계층
| 계층 | 이름 | 핵심 질문 | 인간의 역할 | 대표 키워드 |
|---|---|---|---|---|
| 1 | 프롬프트 엔지니어링 | ”무엇을, 어떻게 물어볼까?” | 작가(Writer) | 프롬프트, 역할 부여, Few-shot |
| 2 | 컨텍스트 엔지니어링 | ”어떤 정보를 얼마나 줄까?” | 사서(Librarian) | RAG, 메모리, Data Environment |
| 3 | 하네스 엔지니어링 | ”어디까지 자유를 허용할까?” | 안전 요원(Safety Officer) | 샌드박스, 가드레일, 테스트 루프 |
| 4 | 오케스트레이션 | ”누가 무엇을 언제 할까?” | 감독(Director) | Multi-agent, Tool use, Workflow |
| 5 | 평가(Evals) | “결과가 쓸 만한가?” | 비평가(Critic) | LLM-as-a-Judge, 관측성, 지표 |
각 계층은 앞 계층을 대체하지 않고 감쌉니다. 아래로 내려갈수록 AI는 단일 출력에서 시스템의 일부로 통합됩니다.
flowchart TD
P[프롬프트] --> C[컨텍스트]
C --> H[하네스]
H --> O[오케스트레이션]
O --> E[평가]
E -.피드백.-> P
마지막 계층인 평가에서 프롬프트로 돌아가는 점선은 평가 결과가 다시 첫 계층을 고친다는 뜻입니다. AI 엔지니어링은 루프로 돕니다.
Layer 1 — 프롬프트 엔지니어링(Prompt Engineering): 작가로서의 인간
가장 먼저 자리 잡았고 가장 오래 논의된 계층입니다. “좋은 질문이 좋은 답을 만든다”는 전제에서 역할 부여(너는 시니어 엔지니어다), Few-shot 예제, 단계별 지시(Chain-of-Thought) 같은 기법이 나왔습니다.
이 계층의 사람은 작가입니다. 문장을 다듬고, 제약을 설계하고, 예시를 고릅니다.
2025년에는 이 관점이 바뀌었습니다. Shopify의 Tobi Lutke는 2025년 6월 X에 이런 글을 남겼습니다.
“I really like the term ‘context engineering’ over prompt engineering. It describes the core skill better: the art of providing all the context for the task to be plausibly solvable by the LLM.” — Tobi Lutke, 2025년 6월 ↗
Simon Willison도 같은 달 블로그에서 “I think ‘context engineering’ is going to stick” ↗이라고 썼습니다. 이 무렵부터 프롬프트 문장만 다듬어서는 문제를 풀 수 없다는 인식이 퍼졌습니다.
Layer 2 — 컨텍스트 엔지니어링(Context Engineering): 사서로서의 인간
이 계층의 질문은 “지금 이 태스크를 풀기 위해 모델에게 무엇을 보여 줘야 하는가”입니다. RAG, 메모리, 도구 호출 결과, 파일 시스템 접근처럼 모델이 참고하는 “데이터 환경(data environment)” 전체가 설계 대상입니다.
이 계층의 사람은 사서에 가깝습니다. 방대한 자료 중에서 태스크에 필요한 문서만 꺼내 주고, 모델이 읽을 수 있는 형식으로 정리합니다.
주요 기술은 세 가지입니다.
- RAG 파이프라인(Retrieval-Augmented Generation) — 벡터 검색, 리랭킹, 문서 청크 전략
- 메모리 계층(Memory Hierarchy) — 단기(턴 단위)·중기(세션)·장기(프로젝트) 메모리 분리
- 도구 출력 가공(Tool Output Shaping) — API/DB/코드 실행 결과를 모델이 쓰기 좋은 형태로 다듬기
개인 수준의 컨텍스트 설계 예시로는 Karpathy의 LLM-Wiki가 있습니다. 매번 원문을 새로 넣는 대신, LLM이 직접 관리하는 위키를 한 겹 둬서 정보가 쌓이게 합니다.
Layer 3 — 하네스 엔지니어링(Harness Engineering): 안전 요원으로서의 인간
에이전트가 실제 파일을 고치고, 명령어를 실행하고, 외부 API를 호출하면 경계선이 설계 대상이 됩니다. 일부 최근 문헌은 모델을 바꾸지 않고도 에이전트의 능력과 안전성을 좌우하는 “모델을 둘러싼 모든 것”을 하네스(Harness)라고 부릅니다.
Martin Fowler의 Harness Engineering 아티클 ↗과 Red Hat Developer의 2026년 4월 기사 ↗에서는 이 관계를 다음과 같이 요약합니다.
Agent = Model + Harness
모델이 바뀌어도 하네스는 남고, 하네스가 바뀌면 같은 모델도 전혀 다른 에이전트가 됩니다.
이 계층의 사람은 안전 요원입니다. 에이전트가 어디까지 갈 수 있고, 어디부터 막아야 하는지 설계합니다.
- 샌드박스(Sandbox) — 격리된 파일 시스템, 네트워크 정책
- 가드레일(Guardrails) — 민감 파일 편집 금지,
rm -rf금지, 커밋 서명 요구 - 테스트 루프(Test Loop) — 타입 체크·테스트·린트 자동 실행 및 실패 시 자기수정
- 휴먼 인 더 루프(Human-in-the-Loop) — 위험 액션 앞 명시적 승인
하네스 엔지니어링은 비결정적인 모델을 결정론적인 검증으로 감쌉니다. 모델이 매번 같은 답을 주지 않아도, 주변 시스템이 같은 조건과 같은 검증 기준을 강제하면 모든 결과가 같은 기준을 거칩니다. 모델이 확률적으로 흔들려도 검증 경로가 일정하면 좋은 결과가 나올 확률이 높아집니다.
Layer 4 — 오케스트레이션(Orchestration): 감독으로서의 인간
리서치, 작성, 리뷰, 배포를 서로 다른 에이전트가 나눠 맡고, 오케스트레이터가 이를 조정합니다.
이 계층의 사람은 감독입니다. 대본을 쓰지는 않지만 캐스팅을 하고, 씬 구성을 짜고, 누가 언제 무엇을 할지 정합니다.
대표적인 접근은 세 갈래로 나뉩니다.
- LangGraph — 그래프 기반 상태 관리, 복잡한 분기·합류에 강점
- CrewAI — 역할(Role)·목표(Goal) 중심, 팀 은유에 충실
- Anthropic Agent SDK 등 벤더 SDK — 모델 제공사가 직접 제공하는 에이전트 개발 도구
프레임워크 비교는 datacamp의 CrewAI vs LangGraph vs AutoGen 분석 ↗에 정리돼 있습니다. 이 비교는 오픈소스 프레임워크 중심이므로, 벤더 SDK를 검토한다면 각 SDK 문서를 따로 확인합니다.
이 블로그에서도 실전 사례를 다뤘습니다. 여러 모델을 태스크별로 바꿔 쓰는 접근은 Perplexity Computer의 19개 모델 오케스트레이션에서 볼 수 있습니다. Claude Code 인스턴스를 팀으로 묶는 구조는 Claude Code Agent Teams 가이드에서 볼 수 있습니다.
Layer 5 — 평가(Evals): 비평가로서의 인간
“좋아 보이는 답”과 “실제로 쓸 만한 답”은 다릅니다. 이 차이를 메우려면 평가 체계도 시스템의 일부가 되어야 합니다.
이 계층의 사람은 비평가입니다. 무엇이 좋은 답인지 정의하고, 그 정의를 재현 가능한 지표로 바꿉니다.
구성 요소는 다음과 같습니다.
- 데이터셋 큐레이션(Dataset Curation) — 실제 사용 로그 기반 대표 샘플
- 자동 판정(Automated Judgment) — LLM-as-a-Judge, 규칙 기반 체커, 단위 테스트
- 관측성(Observability) — 트레이싱, 프롬프트·버전·컨텍스트 메타데이터 수집
LLM이 LLM을 평가하는 방식은 Zheng et al.의 “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena” (NeurIPS 2023) ↗ 이후 표준 기법이 됐습니다. 논문은 GPT-4 판정자가 인간 평가와 80% 이상 일치한다고 보고했습니다. 구현은 FastChat의 llm_judge 모듈 ↗에 공개돼 있습니다.
흐름을 관통하는 개념들
바이브 코딩(Vibe Coding)
Andrej Karpathy가 2025년 2월 X에 처음 쓴 표현입니다.
“There’s a new kind of coding I call ‘vibe coding’, where you fully give in to the vibes, embrace exponentials, and forget that the code even exists.” — Karpathy, 2025년 2월 ↗
Karpathy는 1주년 리트로스펙티브 ↗에서 바이브 코딩과 구분할 이름으로 agentic engineering을 제시했습니다. 그의 표현으로는 “agents who do and acting as oversight”입니다. 개발자가 코드의 99%를 직접 쓰지 않고, 에이전트를 조율하고 감독한다는 관점입니다. Karpathy는 바이브 코딩을 주로 재미로 하는 일회성 프로젝트에 쓰던 방식으로 봅니다. 반면 agentic engineering은 소프트웨어 품질을 타협하지 않으면서 에이전트를 쓰는 전문가의 작업 방식입니다.
AI Native
a16z는 AI Native를 “AI를 처음부터 핵심 기능으로 설계한 애플리케이션” ↗으로 정의합니다. 기준은 AI 기능의 배치가 아니라 설계 출발점입니다. 기존 앱에 AI 기능을 얹은 제품은 해당하지 않고, AI가 없으면 성립하지 않는 제품이 AI Native입니다.
바이브 코딩을 UI 디자인에 적용한 사례는 Google Stitch의 바이브 디자인에서 볼 수 있습니다.
참고 자료
- Andrej Karpathy, “Vibe Coding” (X, 2025년 2월) ↗
- Andrej Karpathy, 1주년 리트로스펙티브 — agentic engineering (X, 2026년 2월) ↗
- Tobi Lutke, “Context Engineering” (X, 2025년 6월) ↗
- Simon Willison, “Context Engineering” (2025-06-27) ↗
- Martin Fowler, “Harness Engineering” ↗
- Zheng et al., “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena” (NeurIPS 2023) ↗
2026년 10월 24일 정정: agentic engineering을 바이브 코딩의 새 이름으로 설명한 부분을 바로잡았습니다. Karpathy는 품질을 타협하지 않고 에이전트를 감독하는 전문가의 작업 방식을 바이브 코딩과 구분하려고 이 용어를 제안했습니다.