GeForce RTX 3060 Ti で動くローカルLLM
メモリ: 8 GB / 帯域: 448 GB/s （出典）
Q4_K_M・8GB の場合 推定
| モデル | 必要 | 判定 | 速度 |
|---|---|---|---|
| Llama 3.1 8B Instruct | 6.6GB | ◎ | 約66 tok/s |
| Llama 3.3 70B Instruct | 46.9GB | × | — |
| Qwen2.5 7B Instruct | 6.1GB | ◎ | 約70 tok/s |
| Qwen2.5 14B Instruct | 11.2GB | × | — |
| Qwen2.5 32B Instruct | 22.8GB | × | — |
| Qwen2.5 72B Instruct | 48.6GB | × | — |
| Qwen3 30B-A3B | 20.8GB | × | — |
| Qwen3 32B | 23.0GB | × | — |
| Gemma 3 12B | 9.2GB | × | — |
| Gemma 3 27B | 19.0GB | × | — |
| Mistral Small 3.1 24B | 16.9GB | × | — |
| Phi-4 14B | 10.8GB | × | — |
| gpt-oss-20b | 13.8GB | × | — |
| gpt-oss-120b | 66.4GB | × | — |
| DeepSeek-R1-Distill-Qwen-14B | 11.2GB | × | — |
| Llama-3.1-Swallow-8B-Instruct | 6.6GB | ◎ | 約66 tok/s |
| Llama 2 7B (ベンチ基準) | 7.4GB | ◎ | 約79 tok/s |
購入リンク（準備中）