Llama 2 7B (ベンチ基準) の必要メモリ
量子化別の必要メモリ 推定
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 7.4 GB | 22.5 GB | 74.0 GB |
| Q5_K_M | 8.2 GB | 23.2 GB | 74.8 GB |
| Q8_0 | 10.7 GB | 25.7 GB | 77.2 GB |
| FP16 | 17.3 GB | 32.3 GB | 83.9 GB |
| 量子化 | 4K文脈 | 32K | 128K |
|---|---|---|---|
| Q4_K_M | 7.4 GB | 22.5 GB | 74.0 GB |
| Q5_K_M | 8.2 GB | 23.2 GB | 74.8 GB |
| Q8_0 | 10.7 GB | 25.7 GB | 77.2 GB |
| FP16 | 17.3 GB | 32.3 GB | 83.9 GB |