LLM診断 › Gemma 4 の必要VRAM › 31B
Gemma 4 31B の必要VRAM・メモリ
Gemma 4 31B は、Gemma 4 でいちばん大きい密(dense)モデルです。公式QAT版(Q4_0)のGGUFは17.7GB、Q4_K_Mは18.3GBで、重みだけで16GBのGPUを超えます。
全体アテンション層のKVヘッドが4、ヘッド次元が512と大きいため、Gemma 4 の中では文脈を伸ばしたときのKVキャッシュの増え方が大きく、LLM診断の推定ではQAT版で文脈4Kなら約20.8GB、32Kで約23.1GB、128Kで約31.2GBです。24GBのGPUでは ◎ 文脈32Kまで、32GBなら ◎ 文脈128Kまで の判定です。
Ollamaの実測(RTX 5080 16GB)では gemma4:31b は重みの61%しかGPUに載らず、残りはCPUで処理されていました(AIハードウェア図鑑)。16GBのGPUで使うなら、速度が大きく落ちることを前提にしてください。
量子化別の必要メモリ 推定
| 量子化 | ファイル | 4K文脈 | 32K文脈 | 128K文脈 | 256K文脈 |
|---|---|---|---|---|---|
| Q4_0(公式QAT) | 17.7 GB | 20.8 GB | 23.1 GB | 31.2 GB | 41.9 GB |
| Q4_K_M | 18.3 GB | 21.5 GB | 23.8 GB | 31.9 GB | 42.6 GB |
| Q5_K_M | 21.7 GB | 24.8 GB | 27.1 GB | 35.2 GB | 45.9 GB |
| Q8_0 | 32.6 GB | 35.8 GB | 38.1 GB | 46.2 GB | 56.9 GB |
| BF16/FP16 | 61.4 GB | 64.5 GB | 66.9 GB | 74.9 GB | 85.7 GB |
VRAM別の判定 推定
| GPUのVRAM | 4K | 32K | 128K | 256K |
|---|---|---|---|---|
| 8GB(使える目安 8.4GB) | × | × | × | × |
| 12GB(使える目安 12.7GB) | × | × | × | × |
| 16GB(使える目安 17.0GB) | × | × | × | × |
| 24GB(使える目安 25.6GB) | ◎ | ◎ | × | × |
| 32GB(使える目安 34.2GB) | ◎ | ◎ | ◎ | × |
ファイル容量と出典
| 量子化 | 容量 | 配布元 |
|---|---|---|
| Q4_0(公式QAT) | 17.7 GB | 公式QAT Q4_0 GGUF |
| Q4_K_M | 18.3 GB | Unsloth Q4_K_M |
| Q5_K_M | 21.7 GB | Unsloth Q5_K_M |
| Q8_0 | 32.6 GB | Unsloth Q8_0 |
| BF16/FP16 | 61.4 GB | Unsloth BF16 (2分割の合計) |
| mmproj(画像用) | 約1.2 GB | 公式QAT GGUF リポジトリ |
公式QAT Q4_0・文脈32Kで載る機材(メモリ判明分)
GeForce RTX 5090GeForce RTX 4090GeForce RTX 3090Radeon RX 7900 XTXGeForce RTX 3090 TiGeForce RTX 5090 LaptopRadeon AI PRO R9700Apple M3 Ultra (Mac Studio)Apple M2 UltraApple M1 Maxよくある質問
Gemma 4 31B は24GBのGPUで動きますか?
推定では、公式QAT版(Q4_0)なら ◎ 文脈32Kまで の判定です(文脈32Kで約23.1GB/使える目安 約25.6GB)。
Macなら何GBあればいい?
GPUに使える量をRAMの約72%とみなす推定では、32GBのMacで ◎ 文脈32Kまで、48GBで ◎ 文脈128Kまで です。
QAT版の31Bは16GBに載りますか?
載りません。QAT版のファイル(17.7GB)だけで16GBのGPUで使える量(約17.0GB)を超えます。