gpt-oss-120b 필요 사양: VRAM과 돌아가는 GPU
모델 정보
- 파라미터
- 총 116.8B · 활성 5.1B (MoE)
- 어텐션
- 슬라이딩 윈도 어텐션
- 최대 컨텍스트
- 131,072 토큰
- 공개일
- 2025-08-05
GGUF 파일
| 양자화 | 파일 크기 | 품질 | 배포처 |
|---|---|---|---|
| MXFP4기준 | 63.39GB | 준무손실 | llama.cpp 팀 · ggml-org |
양자화·컨텍스트별 필요 메모리
| 양자화 | 4k | 8k | 16k | 32k | 64k | 128k |
|---|---|---|---|---|---|---|
| MXFP4 | 64.1 | 64.3 | 64.6 | 65.4 | 66.9 | 69.9 |
gpt-oss-120b, 어떤 GPU에서 돌아갈까?
판정 읽는 법
- 쾌적
- GPU에 전부 올라가고 20 tok/s 이상
- 원활
- GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
- 겨우 가능
- 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
- 불가
- 메모리에 안 들어가거나 2 tok/s 미만
옆으로 밀면 모든 열을 볼 수 있습니다.
| 하드웨어 | 판정 | 속도 | 양자화 | 메모리 | 실행 방식 | 컨텍스트 | 참고 | 가격 |
|---|---|---|---|---|---|---|---|---|
| Apple M2 Ultra · 128GB | 쾌적 | 79.7 tok/s8k 추정 75.6 tok/s (60.5–90.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | MXFP4 | 64.3 / 89.6GB | 통합 메모리 | 최대 128k | — | — |
| Apple M3 Ultra · 96GB | 쾌적 | 추정 77.4 tok/s61.9–92.8보정된 추정 ±20% | MXFP4 | 64.3 / 67.2GB | 통합 메모리 | 최대 64k | — | — |
| Apple M5 Max (40-core GPU) · 128GB | 쾌적 | 추정 60.0 tok/s48.0–72.0보정된 추정 ±20% | MXFP4 | 64.3 / 89.6GB | 통합 메모리 | 최대 64k | — | — |
| Apple M4 Max (40-core GPU) · 128GB | 쾌적 | 추정 53.4 tok/s42.7–64.0보정된 추정 ±20% | MXFP4 | 64.3 / 89.6GB | 통합 메모리 | 최대 64k | — | — |
| Ryzen AI Max+ 395 (Strix Halo) · 128GB | 쾌적 | 50.2 tok/s8k 추정 44.2 tok/s (35.4–53.0, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | MXFP4 | 64.3 / 89.6GB | 통합 메모리 | 최대 32k | — | 출시가 US$1,999 |
| NVIDIA DGX Spark · 128GB | 쾌적 | 35.0 tok/s8k 추정 35.6 tok/s (28.5–42.7, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트) | MXFP4 | 64.3 / 89.6GB | 통합 메모리 | 최대 16k | — | 출시가 US$3,999 |
| DDR5-6000 듀얼채널 CPU · 96GB | 겨우 가능 | 추정 13.4 tok/s10.8–16.1보정된 추정 ±20% | MXFP4 | RAM 63.7GB | CPU 전용 | 최대 128k |
| — |
| DDR5-5600 듀얼채널 CPU · 96GB | 겨우 가능 | 추정 12.6 tok/s10.0–15.1보정된 추정 ±20% | MXFP4 | RAM 63.7GB | CPU 전용 | 최대 128k |
| — |
| Apple M4 · 32GB | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| Apple M4 Max (32-core GPU) · 48GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| Apple M4 Pro · 64GB | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| Apple M5 · 32GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| Apple M5 Max (32-core GPU) · 48GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| Apple M5 Pro · 64GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| Intel Arc B580 | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$290 (2026-08-09 기준) |
| DDR4-3200 듀얼채널 CPU · 64GB | 불가 | — | MXFP4 | 63.7GB 필요 | — | — |
| — |
| GeForce GTX 1080 Ti | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$699 |
| GeForce RTX 2080 Ti | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$999 |
| GeForce RTX 3050 8GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$249 |
| GeForce RTX 3060 12GB | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$250 (2026-08-09 기준) |
| GeForce RTX 3070 | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$499 |
| GeForce RTX 3080 10GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$699 |
| GeForce RTX 3080 12GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$799 |
| GeForce RTX 3090 | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$1,050 (2026-08-09 기준) |
| GeForce RTX 3090 Ti | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$1,999 |
| GeForce RTX 4060 | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$299 |
| GeForce RTX 4060 Laptop | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| GeForce RTX 4060 Ti 16GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$499 |
| GeForce RTX 4060 Ti 8GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$399 |
| GeForce RTX 4070 | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$599 |
| GeForce RTX 4070 Laptop | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| GeForce RTX 4070 Super | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$599 |
| GeForce RTX 4070 Ti Super | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$799 |
| GeForce RTX 4080 | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$1,199 |
| GeForce RTX 4080 Laptop | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| GeForce RTX 4080 Super | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$999 |
| GeForce RTX 4090 | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$2,755 (2026-08-09 기준) |
| GeForce RTX 4090 Laptop | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| GeForce RTX 5060 | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$339 (2026-08-09 기준) |
| GeForce RTX 5060 Ti 16GB | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$569 (2026-08-09 기준) |
| GeForce RTX 5060 Ti 8GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$429 (2026-08-09 기준) |
| GeForce RTX 5070 | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$629 (2026-08-09 기준) |
| GeForce RTX 5070 Ti | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$949 (2026-08-09 기준) |
| GeForce RTX 5070 Ti Laptop | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| GeForce RTX 5080 | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$1,256 (2026-08-09 기준) |
| GeForce RTX 5080 Laptop | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| GeForce RTX 5090 | 불가상세 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$4,200 (2026-08-09 기준) |
| GeForce RTX 5090 Laptop | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| — |
| Radeon RX 7800 XT | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$499 |
| Radeon RX 7900 XT | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$899 |
| Radeon RX 7900 XTX | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 출시가 US$999 |
| Radeon RX 9060 XT 16GB | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$449 (2026-08-09 기준) |
| Radeon RX 9070 | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$639 (2026-08-09 기준) |
| Radeon RX 9070 XT | 불가 | — | MXFP4 | 64.3GB 필요 | — | — |
| 실거래가 US$689 (2026-08-09 기준) |
리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).
가장 싸게 돌릴 수 있는 GPU
실거래가가 확인된 GPU 가운데 MXFP4 기준으로 쾌적하거나 원활하게 돌리는 GPU는 없습니다. 맥, 통합 메모리 PC, CPU 구성은 위 표에서 확인하세요.
gpt-oss-120b 벤치마크 결과
보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.
| 하드웨어 | 양자화 | 백엔드 | 컨텍스트 | 프롬프트 (tok/s) | 생성 (tok/s) | 플래그 | 출처 | 측정일 |
|---|---|---|---|---|---|---|---|---|
| Apple M2 Ultra | MXFP4 | llama.cpp | 2k | 1,245.0 | 79.7 | — | github.com | 2025-08-15 |
| Ryzen AI Max+ 395 (Strix Halo) | MXFP4 | llama.cpp | 2k | 707.0 | 50.2 | ROCm7 | quozul.dev | 2025-10-27 |
| NVIDIA DGX Spark | MXFP4 | llama.cpp | 2k | 1,717.0 | 35.0 | — | github.com | 2025-10-14 |
| GeForce RTX 5090 | MXFP4 | llama.cpp | 4k | — | 9.6 | --n-cpu-moe 21, DDR4 server | hardware-corner.net | 2026-08-09 |
자주 묻는 질문
gpt-oss-120b 실행에 VRAM이 얼마나 필요한가요?
MXFP4 기준으로 가중치가 63.39GB이고, 8k 컨텍스트까지 더하면 약 64.3GB가 필요합니다(KV 캐시 0.3GB, 연산 버퍼 0.6GB).
gpt-oss-120b, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?
실거래가가 확인된 GPU 가운데 MXFP4 기준으로 쾌적하거나 원활하게 돌리는 GPU는 없습니다. 그중 가장 나은 선택은 Apple M2 Ultra · 128GB입니다(판정: 쾌적).
gpt-oss-120b, 8GB·16GB·24GB GPU에서 돌아가나요?
MXFP4·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 불가; GeForce RTX 5060 Ti 16GB: 불가; GeForce RTX 3090: 불가.
속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.