Qwen3 30B-A3B の必要メモリ
量子化別の必要メモリ 推定
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 20.8 GB | 23.6 GB | 33.3 GB |
| Q5_K_M | 24.2 GB | 27.0 GB | 36.7 GB |
| Q8_0 | 35.4 GB | 38.2 GB | 47.9 GB |
| FP16 | 65.5 GB | 68.3 GB | 77.9 GB |
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 20.8 GB | 23.6 GB | 33.3 GB |
| Q5_K_M | 24.2 GB | 27.0 GB | 36.7 GB |
| Q8_0 | 35.4 GB | 38.2 GB | 47.9 GB |
| FP16 | 65.5 GB | 68.3 GB | 77.9 GB |