GeForce RTX 5090 で動くローカルLLM
メモリ: 32 GB / 帯域: 1792 GB/s （出典）
Q4_K_M・32GB の場合 推定
| モデル | 必要 | 判定 | 速度 |
|---|---|---|---|
| Llama 3.1 8B Instruct | 6.6GB | ◎ | 約266 tok/s |
| Llama 3.3 70B Instruct | 46.9GB | × | — |
| Qwen2.5 7B Instruct | 6.1GB | ◎ | 約279 tok/s |
| Qwen2.5 14B Instruct | 11.2GB | ◎ | 約145 tok/s |
| Qwen2.5 32B Instruct | 22.8GB | ◎ | 約65 tok/s |
| Qwen2.5 72B Instruct | 48.6GB | × | — |
| Qwen3 30B-A3B | 20.8GB | ◎ | 約290 tok/s |
| Qwen3 32B | 23.0GB | ◎ | 約65 tok/s |
| Gemma 3 12B | 9.2GB | ◎ | 約177 tok/s |
| Gemma 3 27B | 19.0GB | ◎ | 約79 tok/s |
| Mistral Small 3.1 24B | 16.9GB | ◎ | 約89 tok/s |
| Phi-4 14B | 10.8GB | ◎ | 約152 tok/s |
| gpt-oss-20b | 13.8GB | ◎ | 約285 tok/s |
| gpt-oss-120b | 66.4GB | × | — |
| DeepSeek-R1-Distill-Qwen-14B | 11.2GB | ◎ | 約144 tok/s |
| Llama-3.1-Swallow-8B-Instruct | 6.6GB | ◎ | 約266 tok/s |
| Llama 2 7B (ベンチ基準) | 7.4GB | ◎ | 約315 tok/s |
実測ベンチマーク
| モデル | 量子化 | 生成速度 | 備考 |
|---|---|---|---|
| Llama 2 7B (ベンチ基準) | Q4_0 | 290.02 tok/s | CUDA llama-bench tg128 (FAなし表) 出典 |
| Qwen3 30B-A3B | Q4_K_M | 246.96 tok/s | CUDA tg128 FA有 ベースライン 出典 |
| gpt-oss-20b | MXFP4 | 329.23 tok/s | CUDA tg128 FA有 ベースライン 出典 |
Strata（Qwen3.8-Flash-Next）
RAM 64GBの場合 推定: IQ3_S 約119〜214 tok/s / IQ3_XXS 約145〜259 tok/s / IQ2_XS 約160〜287 tok/s / Q2_0 約171〜306 tok/s / Coder 約120〜216 tok/s
報告された実測（4件）
| GPU | CPU/RAM | サイズ | 生成速度 | 出典 |
|---|---|---|---|---|
| RTX 5090 | Core Ultra 9 285K / 64GB | IQ2_XS | 179.4 tok/s | GitHub |
| RTX 5090 | Ryzen 7 9700X / 96GB | IQ3_XXS | 171.7 tok/s | GitHub |
| RTX 5090 | Ryzen 7 9700X / 96GB | IQ3_S | 164.3 tok/s | GitHub |
| RTX 5090 | Ryzen 9 9950X3D / 96GB | IQ3_S | 141.8 tok/s | GitHub |
購入リンク（準備中）