Gemma 3 27B の必要メモリ
量子化別の必要メモリ 推定
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 19.0 GB | 21.4 GB | 29.7 GB |
| Q5_K_M | 21.9 GB | 24.4 GB | 32.7 GB |
| Q8_0 | 31.9 GB | 34.3 GB | 42.7 GB |
| FP16 | 58.5 GB | 60.9 GB | 69.2 GB |
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 19.0 GB | 21.4 GB | 29.7 GB |
| Q5_K_M | 21.9 GB | 24.4 GB | 32.7 GB |
| Q8_0 | 31.9 GB | 34.3 GB | 42.7 GB |
| FP16 | 58.5 GB | 60.9 GB | 69.2 GB |