Qwen3 30B-A3B (2507) 필요 사양: VRAM과 돌아가는 GPU

모델 정보

파라미터
총 30.5B · 활성 3.3B (MoE)
어텐션
풀 어텐션
최대 컨텍스트
262,144 토큰
공개일
2025-07-31

GGUF 파일

등록된 Qwen3 30B-A3B (2507) 양자화 파일(작은 파일부터)
양자화파일 크기품질배포처
Q2_K11.26GB손실 큼커뮤니티 GGUF · unsloth
IQ4_XS16.38GB균형커뮤니티 GGUF · unsloth
Q4_K_M기준18.56GB균형커뮤니티 GGUF · unsloth
Q8_032.48GB준무손실커뮤니티 GGUF · unsloth

일부 저장소는 Unsloth Dynamic(UD) 변형만 배포합니다. 크기는 실제로 내려받는 파일 기준입니다.

양자화·컨텍스트별 필요 메모리

가중치 + f16 KV 캐시 + 연산 버퍼(GB). Windows에서 GPU가 화면 출력도 맡는다면 약 0.6GB를 더하세요.
양자화4k8k16k32k64k128k256k
Q2_K12.212.613.515.318.825.839.9
IQ4_XS17.317.818.620.423.931.045.0
Q4_K_M19.519.920.822.626.133.147.2
Q8_033.433.934.736.540.047.161.1

Qwen3 30B-A3B (2507), 어떤 GPU에서 돌아갈까?

판정 읽는 법

쾌적
GPU에 전부 올라가고 20 tok/s 이상
원활
GPU에 전부 올라가고 8~20 tok/s, MoE 전문가를 시스템 RAM에 두고 20 tok/s 이상, 또는 GPU에 90% 이상 올라가고 8 tok/s 이상
겨우 가능
2~8 tok/s, CPU 전용, GPU에 90% 미만, 또는 MoE 전문가를 RAM에 두고 20 tok/s 미만
불가
메모리에 안 들어가거나 2 tok/s 미만

옆으로 밀면 모든 열을 볼 수 있습니다.

Q4_K_M·8k 컨텍스트 기준 GPU·맥·CPU 54종을 판정·속도 순으로 정렬했습니다
하드웨어판정속도양자화메모리실행 방식컨텍스트참고가격
GeForce RTX 5090
쾌적상세
추정 235.0 tok/s188.0–282.0보정된 추정 ±20%
Q4_K_M20.5 / 32.0GB풀 GPU최대 64k—실거래가 US$4,200 (2026-08-09 기준)
Radeon RX 7900 XTX
쾌적
추정 170.6 tok/s136.5–204.7보정된 추정 ±20%
Q4_K_M20.5 / 24.0GB풀 GPU최대 32k—출시가 US$999
GeForce RTX 3090 Ti
쾌적
추정 161.2 tok/s129.0–193.5보정된 추정 ±20%
Q4_K_M20.5 / 24.0GB풀 GPU최대 32k—출시가 US$1,999
GeForce RTX 4090
쾌적상세
추정 161.2 tok/s129.0–193.5보정된 추정 ±20%
Q4_K_M20.5 / 24.0GB풀 GPU최대 32k—실거래가 US$2,755 (2026-08-09 기준)
GeForce RTX 3090
쾌적상세
추정 149.7 tok/s119.8–179.7보정된 추정 ±20%
Q4_K_M20.5 / 24.0GB풀 GPU최대 32k—실거래가 US$1,050 (2026-08-09 기준)
GeForce RTX 5090 Laptop
쾌적
추정 143.3 tok/s114.6–172.0보정된 추정 ±20%
Q4_K_M20.5 / 24.0GB풀 GPU최대 32k——
Apple M3 Ultra · 96GB
쾌적
추정 84.4 tok/s67.5–101.3보정된 추정 ±20%
Q4_K_M19.9 / 67.2GB통합 메모리최대 64k——
Apple M2 Ultra · 64GB
쾌적
추정 82.5 tok/s66.0–99.0보정된 추정 ±20%
Q4_K_M19.9 / 44.8GB통합 메모리최대 64k——
Apple M5 Max (40-core GPU) · 48GB
쾌적
추정 65.5 tok/s52.4–78.6보정된 추정 ±20%
Q4_K_M19.9 / 33.6GB통합 메모리최대 64k——
Apple M4 Max (40-core GPU) · 48GB
쾌적
추정 58.2 tok/s46.6–69.9보정된 추정 ±20%
Q4_K_M19.9 / 33.6GB통합 메모리최대 32k——
Apple M5 Max (32-core GPU) · 36GB
쾌적
추정 49.1 tok/s39.2–58.9보정된 추정 ±20%
Q4_K_M19.9 / 25.2GB통합 메모리최대 32k——
Ryzen AI Max+ 395 (Strix Halo) · 32GB
쾌적
추정 48.2 tok/s38.6–57.9보정된 추정 ±20%
Q4_K_M19.9 / 22.4GB통합 메모리최대 16k—출시가 US$1,999
Apple M4 Max (32-core GPU) · 36GB
쾌적
추정 43.7 tok/s35.0–52.5보정된 추정 ±20%
Q4_K_M19.9 / 25.2GB통합 메모리최대 32k——
NVIDIA DGX Spark · 128GB
쾌적
추정 38.8 tok/s31.1–46.6보정된 추정 ±20%
Q4_K_M19.9 / 89.6GB통합 메모리최대 32k—출시가 US$3,999
Apple M5 Pro · 48GB
쾌적
추정 32.7 tok/s26.2–39.3보정된 추정 ±20%
Q4_K_M19.9 / 33.6GB통합 메모리최대 16k——
Apple M4 Pro · 48GB
쾌적상세
추정 29.1 tok/s23.3–34.9보정된 추정 ±20%
Q4_K_M19.9 / 33.6GB통합 메모리최대 16k——
Apple M5 · 32GB
원활
추정 16.4 tok/s13.1–19.7보정된 추정 ±20%
Q4_K_M19.9 / 22.4GB통합 메모리최대 16k
  • Q2_K (품질 손실 큼): 쾌적
—
Apple M4 · 32GB
원활상세
추정 12.8 tok/s10.2–15.4보정된 추정 ±20%
Q4_K_M19.9 / 22.4GB통합 메모리최대 16k——
Intel Arc B580
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
실거래가 US$290 (2026-08-09 기준)
GeForce GTX 1080 Ti
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 11.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$699
GeForce RTX 2080 Ti
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 11.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$999
GeForce RTX 3050 8GB
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$249
GeForce RTX 3060 12GB
겨우 가능상세
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
실거래가 US$250 (2026-08-09 기준)
GeForce RTX 3070
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$499
GeForce RTX 3080 10GB
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 10.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$699
GeForce RTX 3080 12GB
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$799
GeForce RTX 4060
겨우 가능상세
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$299
GeForce RTX 4060 Laptop
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
—
GeForce RTX 4060 Ti 16GB
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
출시가 US$499
GeForce RTX 4060 Ti 8GB
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$399
GeForce RTX 4070
겨우 가능상세
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$599
GeForce RTX 4070 Laptop
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
—
GeForce RTX 4070 Super
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
출시가 US$599
GeForce RTX 4070 Ti Super
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
출시가 US$799
GeForce RTX 4080
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
출시가 US$1,199
GeForce RTX 4080 Laptop
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
—
GeForce RTX 4080 Super
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
출시가 US$999
GeForce RTX 4090 Laptop
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
—
GeForce RTX 5060
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
실거래가 US$339 (2026-08-09 기준)
GeForce RTX 5060 Ti 16GB
겨우 가능상세
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
실거래가 US$569 (2026-08-09 기준)
GeForce RTX 5060 Ti 8GB
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 8.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 32k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
실거래가 US$429 (2026-08-09 기준)
GeForce RTX 5070
겨우 가능상세
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
실거래가 US$629 (2026-08-09 기준)
GeForce RTX 5070 Ti
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
실거래가 US$949 (2026-08-09 기준)
GeForce RTX 5070 Ti Laptop
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 12.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
—
GeForce RTX 5080
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
실거래가 US$1,256 (2026-08-09 기준)
GeForce RTX 5080 Laptop
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
—
Radeon RX 7800 XT
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
출시가 US$499
Radeon RX 7900 XT
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 20.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 128k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 쾌적
출시가 US$899
Radeon RX 9060 XT 16GB
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
실거래가 US$449 (2026-08-09 기준)
Radeon RX 9070
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
실거래가 US$639 (2026-08-09 기준)
Radeon RX 9070 XT
겨우 가능
추정 19.2 tok/s13.4–24.9이론 추정 ±30%
Q4_K_M2.9 / 16.0GB + RAM 17.7GBMoE 전문가 RAM 배치최대 64k
  • 전문가를 시스템 RAM에서 돌립니다. 이 방식에서 원활하게 돌아가려면 20 tok/s 이상 나와야 합니다.
  • IQ4_XS: 원활
  • Q2_K (품질 손실 큼): 쾌적
실거래가 US$689 (2026-08-09 기준)
DDR5-5600 듀얼채널 CPU · 32GB
겨우 가능
19.0 tok/s8k 추정 13.7 tok/s (11.0–16.4, 보정된 추정 ±20%)실측 1건 (2k 컨텍스트)
Q4_K_MRAM 19.4GBCPU 전용최대 64k
  • CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
—
DDR5-6000 듀얼채널 CPU · 32GB
겨우 가능
추정 14.7 tok/s11.7–17.6보정된 추정 ±20%
Q4_K_MRAM 19.4GBCPU 전용최대 64k
  • CPU로만 추론하므로 겨우 돌아가는 수준을 넘지 못합니다.
—
DDR4-3200 듀얼채널 CPU · 32GB
겨우 가능
추정 7.8 tok/s6.3–9.4보정된 추정 ±20%
Q4_K_MRAM 19.4GBCPU 전용최대 64k——

가장 싸게 돌릴 수 있는 GPU

  • 쾌적GeForce RTX 3090실거래가 US$1,050 (2026-08-09 기준), 속도 추정 149.7 tok/s (119.8–179.7, 보정된 추정 ±20%)

Qwen3 30B-A3B (2507) 벤치마크 결과

보정에 쓰는 공개 벤치마크입니다. 측정 조건(컨텍스트·백엔드·플래그)은 위 추정과 다를 수 있습니다.

Qwen3 30B-A3B (2507) 벤치마크 결과
하드웨어양자화백엔드컨텍스트프롬프트 (tok/s)생성 (tok/s)플래그출처측정일
GeForce RTX 5090Q4_K_XLllama.cpp16k—141.6—hardware-corner.net2026-08-09
GeForce RTX 4090Q4_K_XLllama.cpp16k—139.7—hardware-corner.net2026-08-09
GeForce RTX 3090Q4_K_XLllama.cpp16k—113.8—hardware-corner.net2026-08-09
DDR5-5600 듀얼채널 CPUQ4_K_Mllama.cpp2k—19.0—hardware-corner.net2026-08-09

자주 묻는 질문

Qwen3 30B-A3B (2507) 실행에 VRAM이 얼마나 필요한가요?

Q4_K_M 기준으로 가중치가 18.56GB이고, 8k 컨텍스트까지 더하면 약 19.9GB가 필요합니다(KV 캐시 0.8GB, 연산 버퍼 0.6GB). 가장 작은 파일(Q2_K (품질 손실 큼))은 약 12.6GB가 필요합니다.

Qwen3 30B-A3B (2507), 원활하게 돌아가는 가장 싼 GPU는 무엇인가요?

쾌적하게 돌리는 가장 싼 GPU는 GeForce RTX 3090입니다. 실거래가는 US$1,050(2026-08-09 기준)이고, 속도는 추정 149.7 tok/s (119.8–179.7, 보정된 추정 ±20%)입니다.

Qwen3 30B-A3B (2507), 8GB·16GB·24GB GPU에서 돌아가나요?

Q4_K_M·8k 컨텍스트 기준 카드별 판정입니다. GeForce RTX 4060: 겨우 가능, 추정 19.2 tok/s (13.4–24.9, 이론 추정 ±30%); GeForce RTX 5060 Ti 16GB: 겨우 가능, 추정 19.2 tok/s (13.4–24.9, 이론 추정 ±30%); GeForce RTX 3090: 쾌적, 추정 149.7 tok/s (119.8–179.7, 보정된 추정 ±20%).

속도는 메모리 대역폭으로 계산한 추정치를 공개 벤치마크로 보정한 값입니다. 모든 수치에는 오차 범위와 신뢰 라벨을 함께 표시합니다. 실제 속도는 드라이버, 백엔드, 컨텍스트 길이, 발열에 따라 달라집니다.