モデルGPU・MacランキングStrata出典・概要
LLM診断 › モデル一覧 › Nemotron 3.5 Bolt 74B-A9B

Nemotron 3.5 Bolt 74B-A9B の必要VRAM・必要スペック

2026-10-22更新。数値は計算式による推定です（計算方法）。

パラメータ: 74B（アクティブ 9B / MoE） ・ ライセンス: OpenMDW-1.1 ・ IQ2_XXSネイティブ配布 ・ 最大文脈 256K ・ 構成: 88層、内訳 Mamba-2 40層・MoE 40層・アテンション8層、KVヘッド2・ヘッド次元128 ・ 構成出典 （出典）

Nemotron 3.5 Bolt 74B-A9B は NVIDIA のMoE（総74B・1トークンあたりアクティブ9B）モデルです（最大文脈 256K）。動く重みが少ないので速度は小型モデルに近くなりますが、メモリには総パラメータ分の重みをすべて置く必要があります。IQ2_XXSで配布されているため、量子化を選ばず約22.0GBのファイルをそのまま使います。

LLM診断の推定（llama.cpp・全層GPU・IQ2_XXS）では、文脈4Kで約22.9GB、32Kで約23.2GBが必要です。8GBのGPUでは×（4Kでも不足）、12GBでは×（4Kでも不足）、16GBでは×（4Kでも不足）、24GBでは◎ 128Kまで／△ 256Kまでぎりぎりという判定です。全層が載る最小の目安は文脈4KでVRAM 24GB級です。

Macでは、文脈4Kで載る最小の構成は32GBという判定です（GPUに使える量を約72%とみなした推定で、この前提は未検証です）。速度は診断ツールで機種ごとに確認できます。

自分のPCで診断するほかのモデル

ハイブリッド構成（Mamba-2＋MoE）とKVキャッシュ

Nemotron 3.5 Bolt 74B-A9B は88ブロックのうち、40がMamba-2（SSM）、40がMoE（LatentMoE：1024次元に圧縮してからエキスパートを計算。層ごとに240〜432個のエキスパートから9個＋共有1個）、8つだけが通常のアテンション（KVヘッド2・ヘッド次元128）という構成です（config.json、GGUFヘッダーでも確認）。文脈に比例して増えるKVキャッシュはこの8層分だけ（FP16で1トークン8KB）で、Mamba-2の層は文脈によらない固定サイズの状態（合計 約173MB）を持ちます。

LLM診断の推定では、KVキャッシュ（FP16）＋固定の状態は文脈32Kで約0.4GB、128Kで約1.2GB、256Kで約2.3GBです。必要メモリ全体は128Kで約24.0GBで、公式モデルカードの「バッチ1・文脈128Kで24GB未満に収まるよう設計」という記載と同じ水準です。

計算の前提：llama.cpp の確保方法（アテンション層だけKVキャッシュ、Mamba-2層はFP32の畳み込み状態とSSM状態、入力用の埋め込み（Q8_0・約0.57GB）はCPU側）。公式は16bitのSSM状態を前提にしているため、その場合は状態が約86MB小さくなります。公開測定との比較：llm-speed の測定（llama.cpp 620d2225、公式GGUF、全層GPU、2026年10月15日）では、nvidia-smi のピークが RTX 4090 で「約22.0／24.6GB」、RTX 5090 で「約22.3／32.6GB」でした。総量の表記（24.6・32.6）から単位は MiB÷1000 とみられ、GB（10^9バイト）に直すと約23.1GB・約23.4GBで、文脈4Kの推定 約22.9GB との差は−1〜−2%です（llm-speed の記事。文脈長・mmprojの有無は記事に明記がなく、参考扱い）。

速度

同じ測定の生成速度（文脈4K・短い会話・1回）は RTX 3090 で 87.8 tok/s、RTX 4090 で 107.3 tok/s、RTX 5090 で 154.7 tok/s でした。LLM診断のふつうの式（読む重み÷メモリ帯域＋MoEの固定時間1.9ms）では実測より6〜9割速く出てしまうため、このモデルだけ1トークンあたりの固定時間を、3件の実測から逆算した5.6ms（4.4〜7.4msの中央値）にしています。この補正後の推定と実測の差は −16〜+19% です。ほかのモデルの計算は変えていません。

NVIDIA公式の動かし方（llama.cpp）

公式モデルカードの手順は、最新の llama.cpp をソースからビルドし、本体のGGUF（22.018GB）、画像入力用の mmproj（約1.73GB）、DFlash方式の投機デコード用ドラフト（LiLiCorr GGUF、約1GB）を llama-server に渡す方法です。レシピは2つで、「28GBレシピ」（GPU 32GB以上またはRTX Spark 64GB向け、文脈65,536・KVキャッシュq8_0）と「32GBレシピ」（GPU 48GB以上またはRTX Spark 128GB向け、文脈262,144）です（モデルカード、2026年10月15日公開）。上の表は本体だけの推定で、mmprojとドラフトは含みません。

量子化別の必要メモリ 推定

量子化ファイル4K文脈32K文脈128K文脈256K文脈
IQ2_XXS22.0 GB22.9 GB23.2 GB24.0 GB25.0 GB
llama.cpp で全層をGPUに載せ、KVキャッシュFP16の場合の推定。画像入力用の mmproj（約1.73GB）とドラフト（約1GB）は含みません。計算方法は 出典・概要。

VRAM別の判定 推定

GPUのVRAM4K32K128K256K
8GB（使える目安 8.4GB）××××
12GB（使える目安 12.7GB）××××
16GB（使える目安 17.0GB）××××
24GB（使える目安 25.6GB）◎◎◎△
32GB（使える目安 34.2GB）◎◎◎◎
IQ2_XXS の場合。◎＝余裕あり、△＝残り1GB未満でぎりぎり、×＝全層は載らない。

Macの場合（ユニファイドメモリ） 推定

Macのメモリ4K32K128K256K
16GB（GPUに使える目安 12.4GB）××××
24GB（GPUに使える目安 18.6GB）××××
32GB（GPUに使える目安 24.7GB）◎◎△×
48GB（GPUに使える目安 37.1GB）◎◎◎◎
64GB（GPUに使える目安 49.5GB）◎◎◎◎
96GB（GPUに使える目安 74.2GB）◎◎◎◎
128GB（GPUに使える目安 99.0GB）◎◎◎◎
192GB（GPUに使える目安 148.4GB）◎◎◎◎
IQ2_XXS。MacでGPUに使えるメモリを統合メモリの約72%とする前提は、まだ実機の測定で確かめていません。Macの判定はその前提での推定です。

ファイル容量と出典

量子化容量配布元
IQ2_XXS22.0 GBNVIDIA公式 GGUF（IQ2_XXS中心の混合）
Hugging Face で2026-10-22確認、GB=10^9バイト。

IQ2_XXS・文脈4Kで載る機材（メモリ判明分）

GeForce RTX 5090GeForce RTX 4090GeForce RTX 3090Radeon RX 7900 XTXGeForce RTX 3090 TiGeForce RTX 5090 LaptopRadeon AI PRO R9700Apple M3 Ultra (Mac Studio)Apple M2 UltraApple M1 Max

判定は推定です。GPU・Mac一覧

よくある質問

Nemotron 3.5 Bolt 74B-A9B はVRAM 24GBで動きますか？

LLM診断の推定（llama.cpp・全層GPU・公式GGUF 22.018GB・KVキャッシュFP16）では、文脈4Kで約22.9GB、128Kで約24.0GBなので、24GB（使える目安 約25.6GB）のGPUで ◎ 128Kまで／△ 256Kまでぎりぎり の判定です。画像入力用の mmproj（約1.73GB）と、投機デコード用のドラフト（約1GB）を足すと、そのぶん増えます。NVIDIAの公式レシピは「GPU 32GB以上（文脈64K・KVはq8_0）」「48GB以上（文脈256K）」です。

Nemotron 3.5 Bolt 74B-A9B はVRAM何GBで動きますか？

LLM診断の推定（llama.cpp・全層GPU・IQ2_XXS・KVキャッシュFP16）では、文脈4Kで約22.9GB、32Kで約23.2GBです。全層が載るのはVRAM 24GB級からです。

Nemotron 3.5 Bolt 74B-A9B はVRAM 8GBで動きますか？

8GB（使える目安 約8.4GB）では ×（4Kでも不足） の判定です（推定）。全層をGPUに載せられない場合も、一部の層をCPU側に置けば動かせますが、速度は大きく落ちます（このサイトでは未計測）。

Nemotron 3.5 Bolt 74B-A9B はVRAM 12GBで動きますか？

12GB（使える目安 約12.7GB）では ×（4Kでも不足） の判定です（推定）。全層をGPUに載せられない場合も、一部の層をCPU側に置けば動かせますが、速度は大きく落ちます（このサイトでは未計測）。

Nemotron 3.5 Bolt 74B-A9B はVRAM 16GBで動きますか？

16GB（使える目安 約17.0GB）では ×（4Kでも不足） の判定です（推定）。全層をGPUに載せられない場合も、一部の層をCPU側に置けば動かせますが、速度は大きく落ちます（このサイトでは未計測）。

Nemotron 3.5 Bolt 74B-A9B の必要スペック（Mac）は？

GPUに使えるメモリを約72%とみなす推定では、文脈4Kなら32GB以上のMacです。32GBで ◎ 64Kまで／△ 128Kまでぎりぎり の判定です。MacでGPUに使えるメモリを統合メモリの約72%とする前提は、まだ実機の測定で確かめていません。Macの判定はその前提での推定です。

アクティブ9Bなら少ないVRAMでも動きますか？

全層をGPUに載せる前提では動きません。アクティブ9Bは1トークンの計算に使う量で、メモリには総74B分の重み（IQ2_XXSで約22.0GB）が必要です。エキスパートをCPU側のメモリに置く方法（llama.cpp の --cpu-moe など）もありますが、このサイトでは検証していません。

Nemotron 3.5 Bolt 74B-A9B の量子化は選べますか？

NVIDIAが配布しているGGUFは1種類（22.018GB）で、エキスパートをIQ2_XXS（約2.06bit、量子化を前提に学習）、Mamba層をNVFP4、埋め込みと出力をQ8_0にした混合です（公式モデルカード）。LLM診断ではこのファイルの容量で計算しています。

Nemotron 3.5 Bolt は llama.cpp で動きますか？

公式モデルカードは、最新の llama.cpp をソースからビルドして llama-server で動かす手順を載せています（GGUFのアーキテクチャ名は nemotron_h_moe）。公開測定の記事（2026年10月16日）では Ollama 0.40.4 はまだ読み込めなかったとされています。LM Studio での動作はこのサイトでは確認していません。

Nemotron 3.5 Bolt 74B-A9B の速度は？

公開測定（llama.cpp 620d2225・文脈4K・短い会話・1回ずつ）では RTX 3090 で 87.8 tok/s、RTX 4090 で 107.3 tok/s、RTX 5090 で 154.7 tok/s です。同じRTX 5090・同じビルドの Qwen3.8-27B Q4_K_M（75.2 tok/s）の約2倍でした（llm-speed）。

関連モデル: Mistral Small 3.1 24BPhi-4 14BDeepSeek-R1-Distill-Qwen-14B ／ モデル一覧 ／ Gemma 4 の早見表