Skip to content
푸땡로그
Go back

Karpathy의 Three.js 실험: 펠리컨 SVG와 3D 장면의 평가 차이

한동안 LLM을 비공식적으로 평가하는 기준 중 하나는 “자전거를 탄 펠리컨 SVG를 그려보라”였습니다. GeekNews의 “Karpathy의 펠리컨” 요약 ↗에 따르면 Andrej Karpathy는 이 기준을 한 단계 키웠습니다. 단일 SVG 대신 긴 토큰 예산을 주고, 문학 작품의 첫 문단을 3D 장면으로 구현하게 했습니다.

이 실험에서 LLM 평가 단위는 정적인 산출물 하나에서 작은 세계로 커졌습니다. 작은 세계는 코드, 장면, 애니메이션, 검증 루프가 엮인 결과물입니다.

기준 작성 시점 2026-08-06 · GeekNews 요약, Karpathy의 X 포스트, The Decoder 기사, simonw/pelican-bicycle 저장소 확인 내용 기준입니다.

The Decoder가 링크한 Karpathy 실험 영상 ↗에서 추출한 한 장면입니다. 모델은 Tolkien의 첫 문단을 바탕으로 Bag End 주변의 3D 장면, 저폴리곤 자산, 움직임, 내레이션 타이밍을 절차적으로 구성했습니다.

Claude Opus 5가 생성한 Lord of the Rings Three.js 장면에서 Bag End 언덕과 자막이 보이는 프레임


펠리컨 테스트가 보여준 것

simonw/pelican-bicycle 저장소 ↗는 “Generate an SVG of a pelican riding a bicycle”이라는 단일 프롬프트로 여러 모델의 결과를 모아둔 벤치마크입니다. 프롬프트가 일부러 우스꽝스러워서 학습 데이터에 같은 이미지가 있을 가능성이 낮습니다. 그래서 모델은 두 객체를 구조적으로 조합하는 능력을 보여줘야 합니다.

결과가 SVG라서 사람이 바로 열어볼 수 있습니다. 펠리컨과 자전거라는 두 객체의 관계가 눈에 띄고, 실패도 선명합니다. 자전거가 없거나, 펠리컨이 얹혀 있지 않거나, SVG가 깨지면 바로 보입니다.

단일 SVG는 짧은 작업입니다. 정적인 결과 하나로 모델의 공간 감각과 지시 이행 능력은 어느 정도 볼 수 있습니다. 하지만 긴 작업을 유지하는 능력, 여러 자산을 일관되게 배치하는 능력, 시간에 따라 움직이는 장면을 완성하는 능력은 보기 어렵습니다.


평가 단위가 작은 세계로 커진다

Karpathy의 X 포스트 ↗와 The Decoder 기사 ↗에 따르면, Karpathy는 Claude Opus 5에 Three.js 렌더링을 요청했습니다. 입력은 The Lord of the Rings 첫 문단이었고, 100만 토큰 예산과 약 10달러의 비용 한도를 줬습니다. 모델은 약 2시간 동안 5,500줄가량의 코드를 작성해 3D 장면을 만들었습니다.

결과물은 이미지가 아니라 실행 가능한 코드입니다. 모델은 폴리곤 자산을 만들고, 좌표계 안에 배치하고, 장면 전환과 애니메이션을 연결해야 합니다. 단일 SVG보다 의존성 그래프가 훨씬 깁니다.

flowchart TD
    A[문학 첫 문단]
    B[장면 해석]
    C[3D 자산 생성]
    D[좌표 배치]
    E[애니메이션 구성]
    F[브라우저 렌더링]
    G[스크린샷 확인]

    A --> B --> C --> D --> E --> F --> G
    G -->|문제 발견| B

앞서 다룬 Grues in Comic 글도 비슷한 구조입니다. Grues 사례는 오래된 게임을 임포터, IR, 엔진, 렌더러로 나눴습니다. Karpathy의 실험은 짧은 텍스트를 장면, 자산, 카메라, 애니메이션으로 확장합니다.


장시간 작업의 병목은 검증입니다

GeekNews 요약 ↗은 이 실험의 한계를 “비디오를 효율적으로 인식하거나 생성한 게임을 직접 플레이하며 검증하기 어렵다”는 점으로 정리합니다. The Decoder 기사 ↗도 모델이 자기 비디오 출력을 직접 보지 못해 스크린샷에 의존했고, 그 과정에서 오류가 남았다고 설명합니다.

5,500줄을 쓰는 것보다 그 5,500줄이 장면 의도를 만족하는지 평가하는 것이 더 어렵습니다. 정적인 SVG는 한눈에 실패가 보입니다. 90초짜리 3D 장면은 시간, 카메라, 오브젝트 상호작용, 내레이션 싱크까지 봐야 합니다.


큰 산출물을 평가하려면 하네스가 필요합니다

단일 결과물은 좋은 프롬프트 하나와 사람의 눈으로 평가할 수 있습니다. 작은 세계를 만들면 평가도 구조화해야 합니다. 장면이 로드되는지, 특정 시점에 필요한 오브젝트가 있는지, 카메라가 대상과 너무 멀지 않은지, 애니메이션이 멈추지 않는지 같은 체크가 필요합니다.

GAN에서 빌려온 하네스 설계에서 다룬 generator-evaluator 루프가 이 구조입니다. 생성자는 세계를 만들고, 평가자는 브라우저나 렌더러로 실제 결과를 관찰합니다.

평가 대상쉬운 확인어려운 확인
SVG 한 장객체가 보이는가구조가 정말 일관적인가
3D 장면브라우저에서 로드되는가시간 흐름과 카메라가 의도를 따르는가
게임/월드시작 화면이 뜨는가플레이 가능한 규칙과 피드백이 유지되는가
Tip 장시간 생성 작업을 맡길 때는 "완성해줘" 대신 렌더 가능성, 핵심 장면, 시간대별 스냅샷, 회귀 체크를 처음부터 나눠서 요청합니다.

개발자에게 남는 질문

Karpathy의 실험은 아직 정량 벤치마크라기보다 vibe check에 가깝습니다. The Decoder도 이 실험이 hard benchmark는 아니라고 표현합니다.

개발자는 에이전트에게 큰 작업을 맡길 때 받을 결과를 정해야 합니다. 결과 파일만 받을지, 실행 가능한 장면과 검증 절차까지 함께 받을지입니다.


관련 글


참고 자료


Share this post on:

Previous Post
Grues in Comic: AI 에이전트가 클래식 게임을 다시 엮는 법
Next Post
Claude Code Cross-Session Messaging: 세션끼리 직접 말하기 시작했다