Gemma 4 26B A4B の必要VRAM・メモリ
Gemma 4 26B A4B は、128個のエキスパートから毎回8個(+共有1個)だけを使うMoEモデルです。1トークンあたり動くのは約3.8Bなので4B級に近い速さが出る一方、メモリには総25.2B分の重みをすべて置く必要があります(公式ドキュメント)。「A4B=4Bぶんのメモリで動く」わけではない点がいちばんの注意点です。
公式QAT版(Q4_0)のGGUFは14.4GB、Q4_K_Mは17.0GBです。LLM診断の推定では、QAT版で文脈4Kなら約16.4GB、32Kで約17.0GB。16GB(16GiB=約17.2GB)のGPUでは △ 文脈32Kまでぎりぎり の判定、Q4_K_Mでは ×(4Kでも不足) です。24GBなら ◎ 文脈256Kまで です。
第三者の実測(RTX 5070 Ti 16GB・llama.cpp・QAT Q4_0)では、文脈32KでVRAMの山が15.50GiB(約16.64GB)、残りは約0.4GBでした(slide-style.com)。LLM診断の推定(約17.0GB)はこれより約2%多めです。画面表示やブラウザが同じGPUを使うと足りなくなる可能性があるため「△ ぎりぎり」としています。
量子化別の必要メモリ 推定
| 量子化 | ファイル | 4K文脈 | 32K文脈 | 128K文脈 | 256K文脈 |
|---|---|---|---|---|---|
| Q4_0(公式QAT) | 14.4 GB | 16.4 GB | 17.0 GB | 19.0 GB | 21.7 GB |
| Q4_K_M | 17.0 GB | 19.0 GB | 19.6 GB | 21.6 GB | 24.3 GB |
| Q5_K_M | 19.3 GB | 21.3 GB | 21.8 GB | 23.9 GB | 26.5 GB |
| Q8_0 | 26.9 GB | 28.8 GB | 29.4 GB | 31.4 GB | 34.1 GB |
| BF16/FP16 | 50.5 GB | 52.4 GB | 53.0 GB | 55.0 GB | 57.7 GB |
VRAM別の判定 推定
| GPUのVRAM | 4K | 32K | 128K | 256K |
|---|---|---|---|---|
| 8GB(使える目安 8.4GB) | × | × | × | × |
| 12GB(使える目安 12.7GB) | × | × | × | × |
| 16GB(使える目安 17.0GB) | △ | △ | × | × |
| 24GB(使える目安 25.6GB) | ◎ | ◎ | ◎ | ◎ |
| 32GB(使える目安 34.2GB) | ◎ | ◎ | ◎ | ◎ |
ファイル容量と出典
| 量子化 | 容量 | 配布元 |
|---|---|---|
| Q4_0(公式QAT) | 14.4 GB | 公式QAT Q4_0 GGUF |
| Q4_K_M | 17.0 GB | bartowski Q4_K_M |
| Q5_K_M | 19.3 GB | bartowski Q5_K_M |
| Q8_0 | 26.9 GB | bartowski Q8_0 |
| BF16/FP16 | 50.5 GB | ggml-org BF16 |
| mmproj(画像用) | 約1.19 GB | 公式QAT GGUF リポジトリ |
公式QAT Q4_0・文脈32Kで載る機材(メモリ判明分)
GeForce RTX 5090GeForce RTX 5080(△)GeForce RTX 5070 Ti(△)GeForce RTX 5060 Ti 16 GB(△)GeForce RTX 4090GeForce RTX 4080(△)GeForce RTX 4060 Ti 16 GB(△)GeForce RTX 3090Radeon RX 7900 XTXRadeon RX 9070 XT(△)GeForce RTX 3090 TiGeForce RTX 4070 Ti SUPER(△)GeForce RTX 4080 SUPER(△)GeForce RTX 4090 Laptop(△)GeForce RTX 5090 LaptopRadeon RX 6800(△)Radeon RX 6800 XT(△)Radeon RX 6900 XT(△)Radeon RX 7800 XT(△)Radeon RX 7900 GRE(△)Radeon RX 7900 XTRadeon RX 9060 XT 16 GB(△)Radeon RX 9070(△)Radeon AI PRO R9700Arc A770 16 GB(△)Apple M3 Ultra (Mac Studio)Apple M2 UltraApple M1 Maxよくある質問
Gemma 4 26B A4B は16GBのVRAMで動きますか?
公式QAT版(Q4_0)なら、推定で文脈32Kまで「ぎりぎり」載ります(約16.96GB/使える目安 約17.03GB)。実測でも32Kで15.50GiBと16GBに収まった報告があります。Q4_K_M(17.0GB)は16GBに載らない判定で、Ollamaの実測でも重みの一部がCPUにあふれています。
アクティブ4Bなら8GBや12GBでも動きますか?
全層をGPUに載せる前提では動きません。アクティブ3.8Bは計算量の話で、重みは総25.2B分をメモリに置く必要があります。エキスパートをCPU側のメモリに置く方法(llama.cppの --cpu-moe など)もありますが、このサイトでは検証していません。
26B A4B と 31B はどちらを選ぶべき?
必要メモリは26B A4B(QAT・32Kで約17.0GB)のほうが31B(約23.1GB)より小さく、1トークンで読む重みも少ないので速度でも有利です(推定)。品質の比較はこのサイトでは行っていません。