Qwen3.6-35B-A3B の必要VRAM・必要スペック

ハイブリッド構成とKVキャッシュ

Qwen3.6-35B-A3B は40層のうち30層が線形アテンション（Gated DeltaNet）、10層が通常の全体アテンション（Gated Attention）という構成です（3層の線形＋1層の全体、を10回繰り返す。config.json）。線形アテンションの層は文脈が伸びてもメモリが増えない固定サイズの状態（このモデルでは合計 約66MB）しか持たないため、文脈に比例して増えるKVキャッシュは全体アテンションの10層分（KVヘッド2・ヘッド次元256）だけです。

LLM診断の推定では、KVキャッシュ（FP16）＋固定の状態は文脈32Kで約0.7GB、128Kで約2.8GB、256Kで約5.4GBです。参考として、Strata の公式ドキュメントは「32Kで1会話あたり1.5GB（FP32のK/V・MTP層込み、1トークン45KB）、状態0.07GB」と書いており、FP16換算の全体アテンション10層分（1トークン20KB）と状態の大きさは、この計算と一致します（docs/QWEN36.md）。

計算の前提：llama.cpp の確保方法（全体アテンション層のみKVキャッシュ、線形アテンション層はFP32の畳み込み状態とSSM状態）。このモデルの公開VRAM実測による答え合わせはまだしていないため、ほかのモデルより誤差が大きい可能性があります。

16GB以下のGPUで動かすには（エキスパートのCPUオフロード）

Unsloth の UD-Q4_K_M（22.135GB）をGGUFのテンソル一覧で分けると、MoEのエキスパートが約19.57GB、それ以外（アテンション・共有エキスパート・出力層など）が約2.01GB、入力用の埋め込みが約0.54GBです。llama.cpp はエキスパートだけをメインメモリに置く設定（--cpu-moe、一部だけなら --n-cpu-moe N）を持っているため、VRAMが12GB・16GBのGPUでも動かせます。そのぶんメインメモリが必要になり、速度はCPUとメモリの速さに左右されます。

Strata の公式測定（v0.1.45、RTX 3060 12GB、UD-Q4_K_XL）では、llama.cpp の -ncmoe 26 が生成 48〜52 tok/s、Strata のハイブリッド方式（各層256個中22〜37個のエキスパートをVRAMに置く）が 59.7 tok/s でした。Radeon AI PRO R9700 32GB で全エキスパートをVRAMに置いた場合は 117.8 tok/s です（docs/QWEN36.md）。

CPUオフロード時の必要VRAMと速度は、LLM診断の計算式では推定していません。上の表は全層GPUの場合です。

Strata で動かす（v0.1.45〜）

Strata は v0.1.45 で Qwen3.6-35B-A3B に対応しました。セットアップで --family qwen36 を選び、Unsloth のMTP層付きGGUF（UD-Q4_K_XL／UD-Q6_K_XL／Q8_0）を使います。画像の読み取り（NVIDIAの16GB以上ではGPUのエンコーダー、約1.2GB）と、最大8件の同時リクエスト（--parallel）に対応しています。Mac版エンジンとIntel Arcでは、このモデルは動きません。

インストールの流れと必要スペックは Strataの必要スペックとインストール、同じStrataで動く大型モデルは Qwen3.8-Flash-Next にまとめています。

Q4_K_M・文脈4Kで載る機材（メモリ判明分）

判定は推定です。GPU・Mac一覧

よくある質問