gpt-oss-20b 필요 사양: VRAM과 돌아가는 GPU

모델 정보

파라미터: 총 20.9B · 활성 3.6B (MoE)
어텐션: 슬라이딩 윈도 어텐션
최대 컨텍스트: 131,072 토큰
공개일: 2025-08-05
모델 카드: Hugging Face의 gpt-oss-20b 모델 카드

GGUF 파일

등록된 gpt-oss-20b 양자화 파일(작은 파일부터)
양자화	파일 크기	품질	배포처
MXFP4기준	12.11GB	준무손실	llama.cpp 팀 · ggml-org

양자화·컨텍스트별 필요 메모리

가중치 + f16 KV 캐시 + 연산 버퍼(GB). Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요.
양자화	4k	8k	16k	32k	64k	128k
MXFP4	12.7	12.9	13.2	13.7	14.8	17.0

gpt-oss-20b, 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적: GPU에 전부 올라가고 20 tok/s 이상
원활: GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능: 2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가: 메모리에 안 들어가거나 2 tok/s 미만

정렬

옆으로 밀면 모든 열을 볼 수 있습니다.

MXFP4·8k 컨텍스트 기준 GPU·맥·CPU 54종을 판정·속도 순으로 정렬했습니다
하드웨어	판정	속도	양자화	메모리	실행 방식	컨텍스트	참고	가격
GeForce RTX 5090	쾌적상세	282.3 tok/s8k 추정 235.0 tok/s (188.0–282.0, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 32.0GB	풀 GPU	최대 128k	—	실거래가 US$4,200 (2026-08-09 기준)
GeForce RTX 4090	쾌적상세	225.2 tok/s8k 추정 198.3 tok/s (158.7–238.0, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 24.0GB	풀 GPU	최대 128k	—	실거래가 US$2,755 (2026-08-09 기준)
Radeon RX 7900 XTX	쾌적	추정 209.9 tok/s167.9–251.8보정된 추정 ±20%	MXFP4	13.5 / 24.0GB	풀 GPU	최대 128k	—	출시가 US$999
GeForce RTX 5080	쾌적	204.9 tok/s8k 추정 188.9 tok/s (151.1–226.6, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	실거래가 US$1,256 (2026-08-09 기준)
GeForce RTX 3090 Ti	쾌적	추정 198.3 tok/s158.7–238.0보정된 추정 ±20%	MXFP4	13.5 / 24.0GB	풀 GPU	최대 128k	—	출시가 US$1,999
GeForce RTX 5070 Ti	쾌적	189.5 tok/s8k 추정 176.3 tok/s (141.0–211.5, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	실거래가 US$949 (2026-08-09 기준)
GeForce RTX 4080 Super	쾌적	186.4 tok/s8k 추정 144.8 tok/s (115.8–173.8, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$999
GeForce RTX 5080 Laptop	쾌적	추정 176.3 tok/s141.0–211.5보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	—
GeForce RTX 5090 Laptop	쾌적	추정 176.3 tok/s141.0–211.5보정된 추정 ±20%	MXFP4	13.5 / 24.0GB	풀 GPU	최대 128k	—	—
GeForce RTX 3090	쾌적상세	162.0 tok/s8k 추정 184.2 tok/s (147.3–221.0, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 24.0GB	풀 GPU	최대 128k	—	실거래가 US$1,050 (2026-08-09 기준)
GeForce RTX 4080	쾌적	추정 141.1 tok/s112.9–169.3보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$1,199
Radeon RX 9070	쾌적	추정 141.0 tok/s112.8–169.2보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	실거래가 US$639 (2026-08-09 기준)
Radeon RX 9070 XT	쾌적	추정 141.0 tok/s112.8–169.2보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	실거래가 US$689 (2026-08-09 기준)
Radeon RX 7800 XT	쾌적	추정 136.4 tok/s109.1–163.7보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$499
GeForce RTX 4070 Ti Super	쾌적	추정 132.2 tok/s105.8–158.7보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$799
Apple M3 Ultra · 96GB	쾌적	115.5 tok/s8k 추정 103.8 tok/s (83.1–124.6, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 67.2GB	통합 메모리	최대 128k	—	—
GeForce RTX 4090 Laptop	쾌적	추정 113.3 tok/s90.7–136.0보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	—
GeForce RTX 5060 Ti 16GB	쾌적상세	111.6 tok/s8k 추정 88.1 tok/s (70.5–105.8, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	실거래가 US$569 (2026-08-09 기준)
Radeon RX 7900 XT	쾌적	101.9 tok/s8k 추정 174.9 tok/s (139.9–209.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	13.5 / 20.0GB	풀 GPU	최대 128k	—	출시가 US$899
Apple M2 Ultra · 64GB	쾌적	추정 101.4 tok/s81.1–121.7보정된 추정 ±20%	MXFP4	12.9 / 44.8GB	통합 메모리	최대 128k	—	—
Apple M4 Max (40-core GPU) · 48GB	쾌적	92.4 tok/s8k 추정 71.6 tok/s (57.3–85.9, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)	MXFP4	12.9 / 33.6GB	통합 메모리	최대 128k	—	—
Apple M5 Max (40-core GPU) · 48GB	쾌적	추정 80.5 tok/s64.4–96.6보정된 추정 ±20%	MXFP4	12.9 / 33.6GB	통합 메모리	최대 128k	—	—
Radeon RX 9060 XT 16GB	쾌적	추정 70.4 tok/s56.3–84.5보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	실거래가 US$449 (2026-08-09 기준)
Apple M5 Max (32-core GPU) · 36GB	쾌적	추정 60.3 tok/s48.3–72.4보정된 추정 ±20%	MXFP4	12.9 / 25.2GB	통합 메모리	최대 64k	—	—
Ryzen AI Max+ 395 (Strix Halo) · 32GB	쾌적	추정 59.3 tok/s47.5–71.2보정된 추정 ±20%	MXFP4	12.9 / 22.4GB	통합 메모리	최대 64k	—	출시가 US$1,999
GeForce RTX 4060 Ti 16GB	쾌적	추정 56.7 tok/s45.3–68.0보정된 추정 ±20%	MXFP4	13.5 / 16.0GB	풀 GPU	최대 64k	—	출시가 US$499
Apple M4 Max (32-core GPU) · 36GB	쾌적	추정 53.8 tok/s43.0–64.5보정된 추정 ±20%	MXFP4	12.9 / 25.2GB	통합 메모리	최대 64k	—	—
NVIDIA DGX Spark · 128GB	쾌적	추정 47.7 tok/s38.2–57.3보정된 추정 ±20%	MXFP4	12.9 / 89.6GB	통합 메모리	최대 32k	—	출시가 US$3,999
Apple M5 Pro · 24GB	쾌적	추정 40.3 tok/s32.2–48.3보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 32k	—	—
Apple M4 Pro · 24GB	쾌적상세	추정 35.8 tok/s28.6–43.0보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 16k	—	—
Apple M5 · 24GB	원활	추정 20.1 tok/s16.1–24.2보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 64k	—	—
Apple M4 · 24GB	원활상세	추정 15.7 tok/s12.6–18.9보정된 추정 ±20%	MXFP4	12.9 / 16.8GB	통합 메모리	최대 32k	—	—
Intel Arc B580	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	실거래가 US$290 (2026-08-09 기준)
GeForce GTX 1080 Ti	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 11.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$699
GeForce RTX 2080 Ti	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 11.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$999
GeForce RTX 3050 8GB	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$249
GeForce RTX 3060 12GB	겨우 가능상세	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	실거래가 US$250 (2026-08-09 기준)
GeForce RTX 3070	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$499
GeForce RTX 3080 10GB	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 10.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$699
GeForce RTX 3080 12GB	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$799
GeForce RTX 4060	겨우 가능상세	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$299
GeForce RTX 4060 Laptop	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	—
GeForce RTX 4060 Ti 8GB	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$399
GeForce RTX 4070	겨우 가능상세	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$599
GeForce RTX 4070 Laptop	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	—
GeForce RTX 4070 Super	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	출시가 US$599
GeForce RTX 4080 Laptop	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	—
GeForce RTX 5060	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	실거래가 US$339 (2026-08-09 기준)
GeForce RTX 5060 Ti 8GB	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 8.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	실거래가 US$429 (2026-08-09 기준)
GeForce RTX 5070	겨우 가능상세	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	실거래가 US$629 (2026-08-09 기준)
GeForce RTX 5070 Ti Laptop	겨우 가능	추정 18.5 tok/s12.9–24.0이론 추정 ±30%	MXFP4	2.0 / 12.0GB + RAM 11.5GB	MoE 전문가 RAM 배치	최대 128k	전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 30 tok/s 이상 나와야 합니다.	—
DDR5-6000 듀얼채널 CPU · 32GB	겨우 가능	추정 18.0 tok/s14.4–21.7보정된 추정 ±20%	MXFP4	RAM 12.3GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.	—
DDR5-5600 듀얼채널 CPU · 32GB	겨우 가능	추정 16.8 tok/s13.5–20.2보정된 추정 ±20%	MXFP4	RAM 12.3GB	CPU 전용	최대 128k	CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.	—
DDR4-3200 듀얼채널 CPU · 32GB	겨우 가능	추정 9.6 tok/s7.7–11.6보정된 추정 ±20%	MXFP4	RAM 12.3GB	CPU 전용	최대 128k	—	—

리즈닝 모델은 생각하는 데 토큰을 더 쓰기 때문에 속도 기준을 1.5배 엄격하게 잡습니다(30 / 12 / 3 tok/s).

가장 싸게 돌릴 수 있는 GPU

쾌적Radeon RX 9060 XT 16GB실거래가 US$449 (2026-08-09 기준), 속도 추정 70.4 tok/s (56.3–84.5, 보정된 추정 ±20%)

gpt-oss-20b 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

gpt-oss-20b 벤치마크 결과
하드웨어	양자화	백엔드	컨텍스트	프롬프트 (tok/s)	생성 (tok/s)	플래그	출처	측정일
GeForce RTX 5090	MXFP4	llama.cpp	2k	9,841.0	282.3	—	github.com	2025-08-15
GeForce RTX 4090	MXFP4	llama.cpp	2k	8,078.0	225.2	—	github.com	2025-08-15
GeForce RTX 5080	MXFP4	llama.cpp	2k	7,469.0	204.9	—	github.com	2025-08-15
GeForce RTX 5070 Ti	MXFP4	llama.cpp	2k	6,326.0	189.5	—	github.com	2025-08-15
GeForce RTX 4080 Super	MXFP4	llama.cpp	2k	8,111.0	186.4	—	github.com	2025-08-15
GeForce RTX 3090	MXFP4	llama.cpp	2k	5,143.0	162.0	—	github.com	2025-08-15
GeForce RTX 5060 Ti 16GB	MXFP4	llama.cpp	2k	3,821.0	111.6	—	github.com	2025-08-15
Radeon RX 7900 XT	MXFP4	llama.cpp	2k	4,252.0	101.9	ROCm	github.com	2025-08-15
Apple M3 Ultra	MXFP4	llama.cpp	2k	2,816.0	115.5	—	github.com	2025-08-15
Apple M4 Max (40-core GPU)	MXFP4	llama.cpp	2k	1,277.0	92.4	—	github.com	2025-08-15

자주 묻는 질문

gpt-oss-20b 실행에 VRAM이 얼마나 필요한가요?

MXFP4 기준으로 가중치가 12.11GB이고, 8k 컨텍스트까지 더하면 약 12.9GB가 필요합니다(KV 캐시 0.2GB, 연산 버퍼 0.6GB).

gpt-oss-20b, 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 Radeon RX 9060 XT 16GB입니다. 실거래가는 US$449(2026-08-09 기준)이고, 속도는 추정 70.4 tok/s (56.3–84.5, 보정된 추정 ±20%)입니다.

gpt-oss-20b, 8GB·16GB·24GB GPU에서 돌아가나요?

MXFP4·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 겨우 가능, 추정 18.5 tok/s (12.9–24.0, 이론 추정 ±30%); GeForce RTX 5060 Ti 16GB: 쾌적, 실측 111.6 tok/s (2k 컨텍스트, 1건; 8k 추정 88.1 tok/s, 70.5–105.8, 보정된 추정 ±20%); GeForce RTX 3090: 쾌적, 실측 162.0 tok/s (2k 컨텍스트, 1건; 8k 추정 184.2 tok/s, 147.3–221.0, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.