モデルGPU・MacランキングStrata出典・概要
LLM診断 › モデル一覧 › Flint 40B-A2.5B

Flint 40B-A2.5B の必要VRAM・必要スペック

2026-10-23更新。数値は計算式による推定です（計算方法）。

パラメータ: 39.8B（アクティブ 2.5B / MoE） ・ ライセンス: Apache-2.0 ・ 最大文脈 256K ・ 構成: 49層、うち全体アテンション14層・スライディング窓（513トークン）35層、KVヘッド4・ヘッド次元128 ・ 構成出典 （出典）

Flint 40B-A2.5B は Recursive のMoE（総39.8B・1トークンあたりアクティブ2.5B）モデルです（最大文脈 256K）。動く重みが少ないので速度は小型モデルに近くなりますが、メモリには総パラメータ分の重みをすべて置く必要があります。

LLM診断の推定（llama.cpp・全層GPU・Q4_K_M）では、文脈4Kで約24.6GB、32Kで約25.4GBが必要です。8GBのGPUでは×（4Kでも不足）、12GBでは×（4Kでも不足）、16GBでは×（4Kでも不足）、24GBでは◎ 4Kまで／△ 32Kまでぎりぎりという判定です。全層が載る最小の目安は文脈4KでVRAM 24GB級です。

Macでは、文脈4Kで載る最小の構成は32GBという判定です（GPUに使える量を約72%とみなした推定で、この前提は未検証です）。速度は診断ツールで機種ごとに確認できます。

自分のPCで診断するほかのモデル

構成とKVキャッシュ（スライディング窓＋全体アテンション）

Flint は総39.8B・1トークンあたりアクティブ約2.5B（出力層を含む）のMoEモデルで、49層のうち最初の2層が通常のFFN、残り47層が256個のエキスパートから6個＋共有エキスパートを使うMoEです。アテンションは35層が513トークンのスライディング窓、14層が全体アテンション（KVヘッド4・ヘッド次元128）です（公式モデルカード・config.json、GGUFヘッダーでも確認）。文脈に比例して増えるKVキャッシュは全体アテンションの14層分だけ（FP16で1トークン28KB）なので、LLM診断の推定では文脈32Kで約1.0GB、128Kで約3.8GB、256Kで約7.6GBです。

計算の前提：llama.cpp の確保方法（全体アテンション層は文脈長ぶん、スライディング窓の層は窓＋n_ubatchぶんのKV、入力用の埋め込みはCPU側）。llama.cpp は b11803（2026年10月22日 JST）で対応（PR #30928）。このモデルのVRAM・速度の公開実測はまだ見つけていないため、推定は実測と照合していません。速度は対応時点で10〜30%遅くなる処理が入っていると説明されており、表示の速度推定より遅い可能性があります。

量子化別の必要メモリ 推定

量子化ファイル4K文脈32K文脈128K文脈256K文脈
Q4_K_M23.4 GB24.6 GB25.4 GB28.2 GB32.0 GB
Q5_K_M—29.5 GB30.3 GB33.1 GB36.9 GB
Q8_042.4 GB43.5 GB44.4 GB47.2 GB50.9 GB
BF1679.6 GB80.5 GB81.3 GB84.2 GB87.9 GB
llama.cpp で全層をGPUに載せ、KVキャッシュFP16の場合の推定。計算方法は 出典・概要。

VRAM別の判定 推定

GPUのVRAM4K32K128K256K
8GB（使える目安 8.4GB）××××
12GB（使える目安 12.7GB）××××
16GB（使える目安 17.0GB）××××
24GB（使える目安 25.6GB）◎△××
32GB（使える目安 34.2GB）◎◎◎◎
Q4_K_M の場合。◎＝余裕あり、△＝残り1GB未満でぎりぎり、×＝全層は載らない。

Macの場合（ユニファイドメモリ） 推定

Macのメモリ4K32K128K256K
16GB（GPUに使える目安 12.4GB）××××
24GB（GPUに使える目安 18.6GB）××××
32GB（GPUに使える目安 24.7GB）△×××
48GB（GPUに使える目安 37.1GB）◎◎◎◎
64GB（GPUに使える目安 49.5GB）◎◎◎◎
96GB（GPUに使える目安 74.2GB）◎◎◎◎
128GB（GPUに使える目安 99.0GB）◎◎◎◎
192GB（GPUに使える目安 148.4GB）◎◎◎◎
Q4_K_M。MacでGPUに使えるメモリを統合メモリの約72%とする前提は、まだ実機の測定で確かめていません。Macの判定はその前提での推定です。

ファイル容量と出典

量子化容量配布元
Q4_K_M23.4 GBggml-org Q4_K_M
Q8_042.4 GBggml-org Q8_0
BF1679.6 GBggml-org BF16
Hugging Face で2026-10-23確認、GB=10^9バイト。

Q4_K_M・文脈4Kで載る機材（メモリ判明分）

GeForce RTX 5090GeForce RTX 4090GeForce RTX 3090Radeon RX 7900 XTXGeForce RTX 3090 TiGeForce RTX 5090 LaptopRadeon AI PRO R9700Apple M3 Ultra (Mac Studio)Apple M2 UltraApple M1 Max

判定は推定です。GPU・Mac一覧

よくある質問

Flint 40B-A2.5B はVRAM何GBで動きますか？

LLM診断の推定（llama.cpp・全層GPU・Q4_K_M・KVキャッシュFP16）では、文脈4Kで約24.6GB、32Kで約25.4GBです。全層が載るのはVRAM 24GB級からです。

Flint 40B-A2.5B はVRAM 8GBで動きますか？

8GB（使える目安 約8.4GB）では ×（4Kでも不足） の判定です（推定）。全層をGPUに載せられない場合も、一部の層をCPU側に置けば動かせますが、速度は大きく落ちます（このサイトでは未計測）。

Flint 40B-A2.5B はVRAM 12GBで動きますか？

12GB（使える目安 約12.7GB）では ×（4Kでも不足） の判定です（推定）。全層をGPUに載せられない場合も、一部の層をCPU側に置けば動かせますが、速度は大きく落ちます（このサイトでは未計測）。

Flint 40B-A2.5B はVRAM 16GBで動きますか？

16GB（使える目安 約17.0GB）では ×（4Kでも不足） の判定です（推定）。全層をGPUに載せられない場合も、一部の層をCPU側に置けば動かせますが、速度は大きく落ちます（このサイトでは未計測）。

Flint 40B-A2.5B の必要スペック（Mac）は？

GPUに使えるメモリを約72%とみなす推定では、文脈4Kなら32GB以上のMacです。32GBで △ 文脈8Kまでぎりぎり の判定です。MacでGPUに使えるメモリを統合メモリの約72%とする前提は、まだ実機の測定で確かめていません。Macの判定はその前提での推定です。

アクティブ2.5Bなら8GBでも動きますか？

全層をGPUに載せる前提では動きません。アクティブ2.5Bは1トークンの計算に使う量で、メモリには総39.8B分の重み（Q4_K_Mで約23.4GB）が必要です。エキスパートをCPU側のメモリに置く方法（llama.cpp の --cpu-moe など）もありますが、このサイトでは検証していません。

Q4_K_M と Q8_0 の違いは？

ビット数の違いで、Q4_K_M は約4.85bit、Q8_0 は約8.5bitです。Flint 40B-A2.5B では文脈4Kの必要メモリが Q4_K_M で約24.6GB、Q8_0 で約43.5GBです（推定）。品質の差はこのサイトでは測っていません。

Flint は llama.cpp で動きますか？

2026年10月22日（JST）公開の llama.cpp b11803 で対応しました（アーキテクチャ名 flint）。ggml-org が Q4_K_M（23.388GB）・Q8_0・BF16 のGGUFを、開発元の Recursive が NVIDIA向けの NVFP4 GGUF（約22.86GB）を配布しています。対応時の説明では、エキスパートの計算を自動で調整する処理のため速度が10〜30%落ちる場合があり、後の更新で改善予定とされています。

関連モデル: Mistral Small 3.1 24BPhi-4 14BDeepSeek-R1-Distill-Qwen-14BNemotron 3.5 Bolt 74B-A9B ／ モデル一覧 ／ Gemma 4 の早見表