Llama 3.1 8B Instruct の必要メモリ
量子化別の必要メモリ 推定
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 6.6 GB | 10.4 GB | 23.3 GB |
| Q5_K_M | 7.5 GB | 11.3 GB | 24.2 GB |
| Q8_0 | 10.5 GB | 14.2 GB | 27.1 GB |
| FP16 | 18.3 GB | 22.1 GB | 35.0 GB |
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 6.6 GB | 10.4 GB | 23.3 GB |
| Q5_K_M | 7.5 GB | 11.3 GB | 24.2 GB |
| Q8_0 | 10.5 GB | 14.2 GB | 27.1 GB |
| FP16 | 18.3 GB | 22.1 GB | 35.0 GB |