AI 코딩 도구는 보통 Claude Code, Codex, Cursor처럼 클라우드 모델을 씁니다. 2026년 4월 공개된 Qwen3.6 27B는 개인 장비에서 돌릴 수 있는 크기의 오픈 웨이트 모델입니다. Qwen이 공개한 벤치마크에서 이 모델은 Terminal-Bench 2.0에서 Claude 4.5 Opus와 점수가 같습니다. SWE-bench Verified에서는 3.7점 낮습니다.
이 글은 로컬 코딩 모델을 실제 작업에 붙여 보려는 개발자를 위한 글입니다. 먼저 공개 벤치마크를 평가 조건과 함께 읽어 이 모델의 위치를 확인합니다. 그다음 llama.cpp의 llama-server로 OpenAI 호환 서버를 띄우고, 메모리에 맞춰 옵션 값을 정해 OpenCode에 연결합니다. 4비트 모델의 최소 메모리는 RAM과 VRAM을 합쳐 18GB입니다. Qwen이 권하는 128K 컨텍스트까지 쓰려면 32GB 장비가 맞습니다.
기준: 2026-06-30 · Qwen3.6-27B(2026년 4월 공개, Apache 2.0), llama.cpp b9840(6월 29일 빌드) · 근거 문서: Qwen3.6-27B 모델 카드 ↗, Unsloth Qwen3.6 문서 ↗, llama-server README ↗
공개 벤치마크로 본 Qwen3.6 27B의 위치
Qwen3.6-27B는 파라미터 270억 개의 dense 모델입니다. dense 모델은 토큰마다 모든 파라미터를 계산하므로, 토큰마다 일부 전문가만 계산하는 MoE 모델보다 느립니다. 같은 세대 MoE 모델 Qwen3.6-35B-A3B와 비교하면 모델 카드 ↗의 코딩 점수는 27B가 모든 항목에서 높습니다. 모델 카드는 강점으로 에이전트 코딩, 프런트엔드 작업, 저장소 단위 추론을 듭니다.
아래 표는 모델 카드에 실린 코딩 벤치마크 일곱 개입니다. 숫자는 모두 Qwen이 측정한 값이며, 비교 대상 중 상용 모델은 2025년 11월 나온 Claude 4.5 Opus 하나입니다.
| 벤치마크 | Qwen3.6-27B | Qwen3.5-27B | Qwen3.5-397B-A17B | Gemma4-31B | Claude 4.5 Opus |
|---|---|---|---|---|---|
| SWE-bench Verified | 77.2 | 75.0 | 76.2 | 52.0 | 80.9 |
| SWE-bench Pro | 53.5 | 51.2 | 50.9 | 35.7 | 57.1 |
| SWE-bench Multilingual | 71.3 | 69.3 | 69.3 | 51.7 | 77.5 |
| Terminal-Bench 2.0 | 59.3 | 41.6 | 52.5 | 42.9 | 59.3 |
| SkillsBench (5회 평균) | 48.2 | 27.2 | 30.0 | 23.6 | 45.3 |
| NL2Repo | 36.2 | 27.3 | 32.2 | 15.5 | 43.2 |
| LiveCodeBench v6 | 83.9 | 80.7 | 83.6 | 80.0 | 84.8 |
표에서 읽을 수 있는 사실은 세 가지입니다.
- Terminal-Bench 2.0은 Claude 4.5 Opus와 같은 59.3이고, SkillsBench는 2.9점 높습니다. SWE-bench 계열은 3.6~6.2점, NL2Repo는 7점 낮습니다.
- 일곱 항목 모두에서 이전 세대의 대형 MoE 모델 Qwen3.5-397B-A17B보다 높습니다. 전체 파라미터 수가 약 15분의 1인 모델이 이전 주력 모델을 넘었습니다.
- 비슷한 크기의 오픈 모델 Gemma4-31B와는 SWE-bench Verified에서 25점 차이가 납니다.
평가 조건이 로컬 환경과 다릅니다
모델 카드의 각주는 평가 조건을 밝힙니다. 로컬에서 같은 점수를 기대하기 전에 아래 조건과 내 환경을 비교합니다.
- SWE-bench 계열: Qwen의 자체 에이전트 스캐폴드(bash와 파일 편집 도구)로 쟀습니다. temperature 1.0, top_p 0.95, 컨텍스트 200K입니다. SWE-bench Pro는 Qwen이 문제 있는 과제를 고친 수정판으로 모든 모델을 다시 쟀습니다.
- Terminal-Bench 2.0: Harbor/Terminus-2 하네스에서 과제당 3시간, CPU 32개와 RAM 48GB를 줬습니다. 최대 출력 80K, 컨텍스트 256K로 5회 평균을 냈습니다.
- SkillsBench: OpenCode로 78개 과제를 돌린 5회 평균입니다. 이 글이 연결할 OpenCode와 같은 도구로 잰 점수입니다.
- NL2Repo: 다른 모델은 Claude Code로 쟀다고만 밝혔습니다.
평가는 200K~256K 컨텍스트로 했지만, 개인 장비에서는 메모리 때문에 컨텍스트를 줄여 띄웁니다. Quesma 실사용기 ↗는 64K, Unsloth의 MTP 실행 예는 8K를 씁니다. 모델 카드는 생각(thinking) 능력을 지키려면 컨텍스트를 128K 이상으로 유지하라고 권합니다. 로컬에서 쓰는 4·8비트 양자화 모델도 원본과 출력 분포가 조금 다릅니다. 그래서 위 점수는 “이 모델이 낼 수 있는 상한”으로 읽고, 내 설정에서 컨텍스트를 얼마나 확보하는지를 함께 따집니다.
모델, 런타임, 에이전트 세 계층
로컬 코딩 환경은 모델 하나로 끝나지 않습니다. 모델 파일, 그 파일을 돌리는 런타임, 코드베이스에서 일을 하는 코딩 에이전트가 함께 맞물립니다.
flowchart TD
A["Qwen3.6-27B<br/>모델 가중치"] --> B["GGUF 파일<br/>양자화 + MTP 헤드"]
B --> C["llama-server<br/>OpenAI 호환 API 서버"]
C --> D["OpenCode<br/>코드베이스 작업 루프"]
D --> E["설명 / 수정 / 테스트 초안 / 리뷰"]
모델 파일은 GGUF 형식으로 받습니다. Qwen의 llama.cpp 문서 ↗에 따르면 GGUF는 가중치, 하이퍼파라미터, 기본 생성 설정, 토크나이저를 한 파일에 담습니다. 런타임은 llama.cpp ↗입니다. Apple Silicon은 Metal로, NVIDIA GPU는 CUDA로, AMD GPU는 HIP로 돌립니다.
MTP(Multi-Token Prediction)는 모델이 다음 토큰 몇 개를 미리 짐작하고 본 모델이 한 번에 검증하는 방식입니다. Qwen3.6은 MTP 헤드를 함께 학습했습니다. llama.cpp는 2026년 5월 16일 MTP 지원 ↗을 합쳤습니다. MTP를 쓰려면 MTP 헤드가 든 GGUF를 받습니다. Unsloth는 MTP를 뺀 Qwen3.6-27B-GGUF ↗와 MTP를 넣은 Qwen3.6-27B-MTP-GGUF ↗를 따로 올렸습니다.
메모리부터 계산합니다
llama-server 옵션은 결국 “모델 가중치 + KV 캐시가 메모리에 들어가는가”로 정합니다. 두 가지를 차례로 계산합니다.
양자화: 가중치 크기를 정합니다
양자화는 가중치를 적은 비트로 저장해 파일과 메모리를 줄이는 방법입니다. 비트를 줄일수록 원본과의 차이가 커집니다. 아래는 Unsloth GGUF 저장소의 실제 파일 크기와 Unsloth 문서 ↗의 필요 메모리입니다.
| 양자화 | 파일 크기(MTP 없음) | 파일 크기(MTP 포함) | 필요 메모리(문서) |
|---|---|---|---|
| Q3_K_M | 13.6GB | 13.8GB | 15GB(3비트) |
| Q4_K_M | 16.8GB | 17.1GB | 18GB(4비트) |
| UD-Q4_K_XL | 17.6GB | 17.9GB | 18GB(4비트) |
| Q6_K | 22.5GB | 22.9GB | 24GB(6비트) |
| Q8_0 | 28.6GB | 29.1GB | 30GB(8비트) |
필요 메모리는 RAM과 VRAM을 합친 값입니다. Apple Silicon은 통합 메모리 크기입니다. 이 값은 가중치를 올리는 최소량이고, 컨텍스트를 늘리면 KV 캐시가 더 필요합니다.
컨텍스트 길이: KV 캐시 크기를 정합니다
KV 캐시는 모델이 이미 읽은 토큰의 계산 결과를 저장해 다음 토큰을 만들 때 다시 쓰는 메모리입니다. 컨텍스트가 길수록 비례해서 커집니다.
Qwen3.6-27B는 64개 층 중 16개 층만 일반 어텐션(Gated Attention)을 씁니다. 나머지 48개 층은 Gated DeltaNet이라는 선형 어텐션으로, 컨텍스트 길이와 무관한 고정 크기 상태만 둡니다. 그래서 KV 캐시는 16개 층 분량만 늘어납니다. 모델 설정의 KV 헤드 4개와 헤드 크기 256으로 계산하면 기본 f16 형식에서 토큰당 64KiB입니다.
| 컨텍스트 길이 | f16(기본) | q8_0 | q4_0 |
|---|---|---|---|
| 32K(32,768) | 2.0GiB | 1.06GiB | 0.56GiB |
| 64K(65,536) | 4.0GiB | 2.13GiB | 1.13GiB |
| 128K(131,072) | 8.0GiB | 4.25GiB | 2.25GiB |
| 256K(262,144) | 16.0GiB | 8.5GiB | 4.5GiB |
이 표는 모델 설정값으로 계산했고, llama.cpp가 시작할 때 출력하는 KV 캐시 크기와 같습니다. -ctk·-ctv로 KV 캐시를 q8_0으로 저장하면 f16의 약 절반이 됩니다. 선형 어텐션 층의 상태는 컨텍스트와 무관하게 약 150MiB입니다.
MTP를 켜면 메모리가 더 듭니다. MTP 헤드는 자기 KV 캐시를 따로 두기 때문입니다. llama.cpp MTP PR ↗의 한 측정(Q6_K, RTX 3090과 3060)에서는 MTP를 켜자 VRAM 사용량이 2.49GiB 늘었습니다.
실행 전에 메모리 예상치를 확인합니다
llama.cpp 릴리스에 함께 들어 있는 llama-fit-params는 가중치를 메모리에 올리지 않고 설정별 사용량만 계산합니다. 설정이 장비에 들어가는지 보고, 들어가도록 맞춘 인자를 마지막 줄에 출력합니다. -v를 붙이면 KV 캐시 크기와 예상 사용량이 함께 나옵니다.
llama-fit-params -m Qwen3.6-27B-Q4_K_M.gguf \
-c 131072 -ctk q8_0 -ctv q8_0 -fa on -v아래는 M1 Max 32GB MacBook Pro에서 b9840으로 실행한 출력 중 필요한 줄입니다.
llama_kv_cache: size = 4352.00 MiB (131072 cells, 16 layers, 1/1 seqs), K (q8_0): 2176.00 MiB, V (q8_0): 2176.00 MiB
common_params_fit_impl: projected to use 20480 MiB of device memory vs. 25409 MiB of free device memory
common_fit_params: successfully fit params to free device memory
-c 131072 -ngl -1같은 장비에서 Q4_K_M의 설정만 바꿔 계산한 결과는 다음과 같습니다. 이 장비에서 llama.cpp가 Metal 장치 메모리로 보고한 값은 25,559MiB입니다.
| 컨텍스트·KV 형식 | 예상 사용량 | 결과 |
|---|---|---|
| 64K, f16 | 20,160MiB | 모든 층을 GPU에 |
| 128K, q8_0 | 20,480MiB | 모든 층을 GPU에 |
| 128K, f16 | 24,320MiB | 모든 층을 GPU에, 여유 약 1GB |
| 256K, q8_0 | 24,960MiB | 일부 층을 CPU로 내림(-ngl 63) |
-c 생략(256K, f16) | 32,640MiB | 컨텍스트를 131,840으로 줄임 |
32GB Mac에서는 Q4_K_M에 128K 컨텍스트와 q8_0 KV 캐시를 쓰면 모델 카드의 128K 권장을 지키면서 4GB 넘게 여유가 남습니다. f16으로도 들어가지만 여유가 1GB 남짓입니다. MTP까지 켜려면 이 여유에서 MTP 몫을 빼고 다시 계산합니다.
llama-server 옵션의 뜻과 권장값
아래 표는 6월 29일 빌드(b9840)의 llama-server --help에 나온 옵션입니다. 권장값은 위 메모리 계산과 각 출처를 근거로 정했습니다.
| 옵션 | 뜻 | 기본값 | 권장값과 근거 |
|---|---|---|---|
-hf <저장소>:<양자화> | Hugging Face에서 GGUF를 받고 이후 재사용 | 양자화 생략 시 Q4_K_M | 위 양자화 표에서 메모리에 맞는 것 |
-c, --ctx-size | 한 번에 다룰 최대 토큰 수 | 0(모델 값 262,144) | 128K 이상(모델 카드 권장). 메모리가 부족하면 64K |
-ctk, -ctv | KV 캐시의 K·V 저장 형식 | f16 | 긴 컨텍스트에서 q8_0. KV 메모리가 약 절반 |
-ngl, --n-gpu-layers | GPU 메모리에 올릴 층 수 | auto | 모두 들어가면 99나 all. 넘치면 줄여 일부를 CPU에 둠 |
-fa, --flash-attn | Flash Attention 사용 | auto | on. q8_0 같은 양자화 V 캐시를 쓰려면 필요 |
--spec-type draft-mtp | MTP 헤드로 추측 디코딩 | none | MTP GGUF를 쓸 때만 |
--spec-draft-n-max | 한 번에 미리 짐작할 토큰 수 | 3 | 2(Unsloth 예시). 늘릴수록 채택률이 떨어짐 |
-np, --parallel | 동시에 처리할 요청 슬롯 수 | auto | MTP를 쓰면 1(Unsloth 예시, MTP 미지원) |
--temp, --top-p, --top-k, --min-p | 샘플링 | GGUF 메타데이터 값 | 정밀 코딩용 생각 모드는 0.6, 0.95, 20, 0(모델 카드) |
--host, --port | 서버 주소 | 127.0.0.1, 8080 | 포트를 고정해 OpenCode 설정과 맞춤. 외부에 열 때는 --api-key도 |
-c를 생략하면 모델 기본값인 262,144 토큰을 쓰려 하고, f16 KV 캐시만 16GiB가 필요합니다. 기본으로 켜진 --fit은 지정하지 않은 값을 장비 메모리에 맞게 줄입니다. llama-fit-params로 같은 계산을 하면 위 32GB 장비에서는 컨텍스트가 131,840으로 줄어듭니다. 의도한 값을 쓰려면 -c를 직접 적습니다.
-fa off에 q8_0 V 캐시를 함께 주면 V cache quantization requires flash_attn 오류가 나고 시작하지 않습니다. KV 캐시를 양자화할 때는 -fa on을 함께 적습니다.
llama.cpp는 명령에 적지 않은 샘플링 값을 GGUF 메타데이터에서 가져옵니다. Unsloth GGUF에는 temp 1.0, top_k 20, top_p 0.95가 들어 있어 모델 카드의 일반 작업용 생각 모드 값과 같습니다. min_p는 메타데이터에 없어 llama.cpp 기본값 0.05가 쓰입니다. 코딩에 쓸 때는 모델 카드의 정밀 코딩 값(temp 0.6, min_p 0)을 명령에 직접 적습니다.
MTP의 짐작 토큰 수는 늘린다고 빨라지지 않습니다. llama.cpp MTP PR의 측정에서 Qwen3.6 27B Q8_0의 채택률은 2개일 때 82.6%, 3개일 때 72.2%였습니다. 채택률은 짐작한 토큰을 본 모델이 그대로 받아들인 비율입니다. 같은 PR의 RTX 3090 측정에서는 생성 속도가 22.97에서 42.45tok/s로 약 1.85배가 됐습니다. MTP는 프롬프트를 처음 읽는 속도(prefill)를 늦추고 메모리를 더 씁니다. 메모리가 빠듯하면 MTP를 끄고 128K 컨텍스트부터 확보합니다.
실행 예
아래는 위 권장값을 묶은 작성자 구성 예입니다. 32GB 장비에서 Q4_K_M과 128K 컨텍스트를 쓰는 설정입니다.
llama-server -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M \
-c 131072 -ctk q8_0 -ctv q8_0 -fa on -ngl 99 \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0 \
--port 8080메모리가 넉넉하면 MTP GGUF로 바꾸고 MTP 옵션을 더합니다.
llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q4_K_M \
--spec-type draft-mtp --spec-draft-n-max 2 -np 1 \
-c 131072 -ctk q8_0 -ctv q8_0 -fa on -ngl 99 \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0 \
--port 8080서버 확인
서버가 뜨면 다른 터미널에서 상태와 모델 목록을 확인합니다.
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/v1/models시작 로그에는 실제로 잡힌 컨텍스트 길이와 KV 캐시 크기가 나옵니다. 이 값이 위 계산과 맞는지 보고, 메모리 부족 오류가 나면 -c를 줄이거나 KV 캐시를 q8_0으로 바꿉니다.
OpenCode에 연결하기
OpenCode ↗는 AI SDK의 @ai-sdk/openai-compatible 패키지로 OpenAI 호환 서버를 provider로 붙입니다. 아래 설정은 Quesma 실사용기 ↗의 예에 OpenCode 문서의 limit 항목을 더했습니다. 파일 위치는 ~/.config/opencode/opencode.json입니다.
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"llama": {
"name": "llama.cpp (local)",
"npm": "@ai-sdk/openai-compatible",
"options": {
"baseURL": "http://127.0.0.1:8080/v1",
"apiKey": "local"
},
"models": {
"qwen3.6-27b": {
"name": "Qwen3.6-27B Q4_K_M",
"limit": {
"context": 131072,
"output": 32768
}
}
}
}
},
"model": "llama/qwen3.6-27b"
}baseURL의 포트는 llama-server의 --port와 같아야 합니다. limit.context는 -c와 같은 값으로 맞춥니다. limit.output 32,768은 모델 카드가 대부분의 질의에 권하는 출력 길이입니다. OpenCode는 컨텍스트가 차면 세션을 자동으로 압축합니다(설정 문서 ↗).
OpenCode에서 /models를 열어 Qwen3.6-27B Q4_K_M이 목록에 있으면 연결됐습니다. 첫 요청으로 저장소의 파일 하나를 설명해 달라고 해 보고, llama-server 로그에 요청이 찍히는지 확인합니다.
무엇을 맡기기 좋은가
로컬 모델에 맡길 일은 “Claude Code나 Codex를 이기는가”보다 “어떤 작업은 클라우드 최상위 모델까지 부르지 않아도 되는가”로 고릅니다. 컨텍스트가 짧고 결과를 바로 확인할 수 있는 작업이 잘 맞습니다.
| 작업 | 로컬 모델에 맡기기 좋은 이유 |
|---|---|
| 코드 설명 | 파일 일부나 함수 단위 맥락이면 충분한 경우가 많습니다. |
| 작은 리팩터링 | 이름 정리, 조건문 단순화, 타입 보강처럼 범위가 좁습니다. |
| 테스트 초안 | 완성도보다 빠른 초안과 edge case 목록이 먼저 필요합니다. |
| 로그 해석 | 민감한 로그를 외부 API에 보내기 어려운 경우가 있습니다. |
| 문서화 | README, 주석, 변경 요약처럼 반복 생성 작업이 많습니다. |
여러 패키지에 걸친 리팩터링, 큰 설계 변경, 보안·결제·데이터 손실 위험이 있는 수정은 상위 클라우드 모델과 사람의 리뷰에 맡깁니다. 이런 작업은 긴 컨텍스트가 필요한데, 로컬에서는 메모리 때문에 컨텍스트가 평가 조건보다 짧아지기 쉽습니다.
속도도 고려합니다. Quesma가 M5 Max 128GB MacBook에서 잰 Qwen3.6 27B 8비트의 생성 속도는 llama.cpp로 18tok/s, MTP를 켜면 32tok/s였습니다. 같은 측정에서 MoE 모델 Qwen3.6-35B-A3B는 93~105tok/s였습니다. 빠른 반복이 필요한 작업에는 35B-A3B를, 품질이 중요한 작업에는 27B를 고릅니다.
로컬 코딩 모델의 현재 위치
공개 벤치마크로 보면 270억 파라미터 로컬 모델이 7개월 전 나온 Claude 4.5 Opus와 항목에 따라 같거나 몇 점 낮은 수준에 왔습니다. Terminal-Bench 2.0은 Claude 4.5 Opus와 같고, SWE-bench Verified는 3.7점 낮습니다. 다만 이 점수는 200K 이상의 컨텍스트와 Qwen의 평가 환경에서 나왔습니다. 개인 장비에서는 양자화와 짧은 컨텍스트 때문에 그보다 낮은 지점에서 출발합니다.
그래서 Qwen3.6 27B + llama.cpp + OpenCode 조합은 최상위 클라우드 에이전트를 완전히 대체하지 못합니다. 그래도 데모나 취미 실험 수준은 넘었습니다. 27B 모델이 반복 작업을 처리하고, llama.cpp가 로컬 실행 경로를 제공하며, OpenCode가 그 모델을 실제 코드 작업 루프에 연결합니다.
로컬 모델은 매번 클라우드 API를 호출하지 않는 코딩 도우미로 쓸 수 있습니다. 회사 코드나 개인 프로젝트를 밖으로 보내지 않는 분석기, 부담 없이 반복해서 물어볼 수 있는 보조 엔진으로도 쓸 수 있습니다.
관련 글
- Ollama + EXAONE 3.5 설치 가이드 - Mac에서 로컬 LLM을 처음 설치하고 API로 쓰는 방법
- token-router 로컬 LLM 라우터 - 작은 로컬 모델이 큰 문서에서 필요한 조각만 골라 클라우드 모델로 넘기는 구성
- Hermes Agent와 ChatGPT OAuth 연동 - 클라우드 모델을 로컬 터미널 에이전트에 붙이는 구성
참고 자료
- Qwen/Qwen3.6-27B 모델 카드 ↗ - 구조, 컨텍스트 길이, 벤치마크와 평가 조건, 권장 샘플링 값
- Unsloth Qwen3.6 문서 ↗ - 양자화별 필요 메모리, llama.cpp 실행 예, MTP
- unsloth/Qwen3.6-27B-MTP-GGUF ↗ - MTP GGUF와 llama.cpp 실행 예
- llama.cpp MTP 지원 PR #22673 ↗ - MTP 채택률과 속도 측정
- llama-server README ↗ - 서버 옵션
- OpenCode providers 문서 ↗ - llama.cpp provider 설정
- Quesma: Qwen 3.6 27B is the sweet spot for local development ↗ - OpenCode 연동과 속도 측정
2026년 10월 24일 추가: 이 글을 쓴 뒤 llama.cpp의
llama-server기본 포트가 8080에서 9931로 바뀌었습니다. 이 글의 명령처럼--port 8080을 직접 적으면 OpenCode 설정은 그대로 동작합니다. 포트를 생략했다면baseURL을http://127.0.0.1:9931/v1로 바꿉니다(llama-server README ↗).
2026년 10월 24일 수정: 제목의 “어디까지 왔나”에 답하도록 모델 카드의 코딩 벤치마크와 평가 조건, 비교 대상을 넣었습니다. llama-server 옵션의 뜻과 권장값을 양자화별 메모리와 KV 캐시 계산으로 다시 썼고, OpenCode 설정에 컨텍스트 한도를 더했습니다.