Strataとは
Strataは、約1250億パラメータのMoEモデル Qwen3.8-Flash-Next を、VRAM 12GB以上のゲーミングPCで動かすための無料・オープンソース（MIT）の推論エンジンです。llama.cpp/ggmlの一部を使っています。動かせるのはこのモデル（とその派生版）専用で、任意のモデルを動かす汎用ツールではありません。
仕組み（README・docs/HOW_IT_WORKS.mdより）
- モデルは24,576個の小さな「エキスパート」でできていて、1語ごとに使うのは10個だけ
- GPU（VRAM）: よく使われる数千個のエキスパートを保持。VRAMが1GB増えるごとに約700個多く載る
- システムRAM: 全エキスパートを保持し、GPUにないものはCPUが同時に計算。一部はPCIe経由でGPUへ転送
- SSD: 約29GBのn-gram参照表。RAMが足りない「低RAMモード」ではエキスパートもSSDから読む（大幅に遅い）
- 小さな補助モデルが次の数語を予想し、本体がまとめて検証（同じ答えで1.6〜1.8倍速い）
必要スペック
| GPU | NVIDIA RTX 20/30/40/50、AMD RX 7900 XT/XTX・7800 XT/7700 XT・9060 XT・9070/9070 XT・AI PRO R9700・RX 6800/6900。VRAM 12GB以上。Intel Arc・Apple Silicon・Strix Haloは実験的 |
| RAM | 32GB以上（エキスパート＋約10GB）。Coder 32GB / Q2_0・IQ2_XS 48GB / 全サイズ 64GB |
| ディスク | 空き約80GB、SSD推奨 |
| OS | Windows 10/11 または Linux（Macはソースからビルド） |
公開ベンチマークとLLM診断の推定
生成速度（tok/s）。推定式 = e-0.9247 × VRAM0.5392 × GPU帯域0.5844 × サイズ係数 × AMD係数0.814（下の実測44点で回帰。MI50/Radeon Pro VIIは実験的GPUのため除外）。システムRAM量も試しましたが精度が上がらなかったため式に入れていません。CPU・RAM速度・PCIe世代・電力制限は式に入っていないため、表示は推定値の0.78〜1.4倍の幅です（1点ずつ除いて検証した誤差 −30%〜+29% をカバー）。
| GPU | CPU/RAM | サイズ | 実測 | 推定 | 出典 |
|---|---|---|---|---|---|
| RTX 5070 | Ryzen 5 7600 / 64GB | Q2_0 | 94 | 73 (-23%) | 公式 |
| RTX 5070 | Ryzen 5 7600 / 64GB | IQ2_XS | 79 | 68 (-14%) | 公式 |
| RTX 5070 | Ryzen 5 7600 / 64GB | IQ3_XXS | 62 | 62 (-1%) | 公式 |
| RTX 5070 | Ryzen 5 7600 / 64GB | IQ3_S | 53 | 51 (-4%) | 公式 |
| RTX 5070 | Ryzen 5 7600 / 64GB | Coder | 55 | 51 (-7%) | 公式 |
| RX 9070 XT | Ryzen 9 3900X / 47GB | Q2_0 | 60 | 67 (+12%) | 公式 |
| RX 9070 XT | Ryzen 9 3900X / 47GB | IQ2_XS | 52 | 63 (+21%) | 公式 |
| RX 9070 XT | Ryzen 9 3900X / 47GB | Coder | 44 | 47 (+8%) | 公式 |
| RTX 5090 | Core Ultra 9 285K / 64GB | IQ2_XS | 179.4 | 205 (+14%) | GitHub |
| RTX 5090 | Ryzen 7 9700X / 96GB | IQ3_XXS | 171.7 | 185 (+8%) | GitHub |
| RTX 5090 | Ryzen 7 9700X / 96GB | IQ3_S | 164.3 | 153 (-7%) | GitHub |
| RTX 5090 | Ryzen 9 9950X3D / 96GB | IQ3_S | 141.8 | 153 (+8%) | GitHub |
| RTX 5090 Laptop | Ryzen 9 9955HX3D / 64GB | Q2_0 | 136.9 | 125 (-9%) | GitHub |
| RTX 4090 | Ryzen 9 7950X / 46GB | IQ3_S | 77.5 | 94 (+21%) | GitHub |
| RTX 4090 | Ryzen 9 7950X / 46GB | IQ3_XXS | 118 | 113 (-4%) | GitHub |
| RTX 4090 | Core i9-14900K / 32GB | IQ2_XS | 122 | 125 (+3%) | GitHub |
| RTX 4090 Laptop | Core i9-13900HX / 64GB | IQ3_S | 51.2 | 54 (+6%) | GitHub |
| RTX 4080 SUPER (32GB改造) | Core i7-13790F | IQ3_S | 98.33 | 91 (-7%) | GitHub |
| RTX 4070 Ti SUPER | Ryzen 7 9800X3D / 94GB | IQ2_XS | 97.9 | 79 (-19%) | GitHub |
| RTX 4070 Ti SUPER | Ryzen 7 9800X3D / 94GB | IQ3_XXS | 76 | 72 (-5%) | GitHub |
| RTX 4070 | Core i5-12600KF / 32GB | IQ2_XS | 47.76 | 58 (+20%) | GitHub |
| RTX 4060 Ti 16GB | Xeon E5-2673 v3 (DDR3) / 96GB | Q2_0 | 48.1 | 52 (+8%) | GitHub |
| RTX 4060 Ti 16GB | Xeon E5-2673 v3 (DDR3) / 96GB | IQ3_S | 30.5 | 36 (+19%) | GitHub |
| RTX 5070 Ti | Ryzen 7 9800X3D / 64GB | IQ3_S | 75.8 | 70 (-7%) | GitHub |
| RTX 5070 Ti | Ryzen 9 5900X (DDR4) / 64GB | IQ2_XS | 102 | 94 (-8%) | GitHub |
| RTX 5070 Ti | Ryzen 9 5900X (DDR4) / 64GB | IQ3_XXS | 72.5 | 85 (+17%) | GitHub |
| RTX 5070 Ti | Ryzen 9 5900X (DDR4) / 64GB | IQ3_S | 62.9 | 70 (+12%) | GitHub |
| RTX 5060 Ti 16GB | Ryzen 9 7945HX / 64GB | IQ3_S | 56.6 | 47 (-17%) | GitHub |
| RTX 3090 | Ryzen 5 5600X / 64GB | IQ3_S | 97.2 | 90 (-8%) | GitHub |
| RTX 3090 (TB3 eGPU) | Core i7-11800H / 64GB | IQ2_XS | 112.2 | 120 (+7%) | GitHub |
| RTX 3090 Ti | 2x Xeon E5-2699 v3 (DDR4-2133) / 384GB | IQ3_S | 89 | 94 (+5%) | GitHub |
| RTX 3060 12GB | Core i7-12700 / 64GB | Q2_0 | 42.9 | 50 (+18%) | GitHub |
| RTX 3080 (200W制限) | Ryzen 7 9800X3D / 96GB | IQ3_S | 50 | 50 (-1%) | X |
| RX 7900 XTX | Ryzen 9 7900X / 96GB | IQ3_S | 80.4 | 74 (-8%) | GitHub |
| RX 7900 XTX | Ryzen 9 7950X3D / 192GB | IQ3_S | 77.5 | 74 (-4%) | GitHub |
| RX 7900 GRE | Ryzen 7 5700X3D / 64GB | IQ2_XS | 65.3 | 59 (-10%) | GitHub |
| RX 7900 GRE | Ryzen 7 5700X3D / 64GB | IQ3_XXS | 59.1 | 53 (-10%) | GitHub |
| RX 9070 XT | Threadripper 3960X (DDR4) / 128GB | IQ3_S | 45.2 | 47 (+4%) | GitHub |
| RX 9070 | Ryzen 7 5800X3D / 64GB | IQ3_XXS | 58.7 | 57 (-3%) | GitHub |
| RX 9060 XT 16GB | Ryzen 7 9800X3D / 64GB | IQ2_XS | 52.7 | 42 (-20%) | GitHub |
| RX 6800 | Ryzen 7 5700X3D / 64GB | IQ2_XS | 52.9 | 55 (+4%) | GitHub |
| RX 6700 XT | Ryzen 7 5700G | IQ2_XS | 32.1 | 40 (+24%) | GitHub |
| Radeon AI PRO R9700 | Ryzen 9 9950X | IQ2_XS | 99.8 | 91 (-9%) | GitHub |
| RTX PRO 4500 Blackwell | Threadripper PRO 3975WX | IQ3_S | 106.3 | 102 (-4%) | GitHub |
| Radeon Instinct MI50 32GB | Core i5-12400F / 64GB | IQ2_XS | 36 | 120 (+234%) | GitHub |
| Radeon Pro VII | Xeon E5-2666 v3 / 125GB | IQ2_XS | 24.2 | 83 (+242%) | GitHub |
回帰に使っていない報告
| GPU | CPU/RAM | サイズ | 報告値 | 備考 | 出典 |
|---|---|---|---|---|---|
| RTX 3090 (220W制限) | — | IQ3_XXS | 60 | X | |
| RTX 5080 | 96GB | 4bit(UD系) | 65 | 60〜70 tok/s と報告 | X |
| RTX 5080 | Ryzen 9 9900X3D / 96GB | IQ3_S | — | 80〜98 tok/s（文脈長により） | GitHub |
| RTX 5080 | (Docker/WSL2) / 64GB | Coder | — | 72〜81 tok/s | GitHub |
| RX 6800M | 32GB | IQ2_XS(低RAM) | — | 9〜27 tok/s（SSDストリーミング） | GitHub |
測定条件は各報告で異なります（エンジン版・文脈長・投機デコード設定など）。コミュニティ報告は自己申告で、LLM診断では検証していません。
普及度
2026年10月16日に GitHub API で確認：スター 26,012、フォーク 2,688、オープンなissue 1,062、作成 2026年9月25日（JST）、最終push 2026年10月14日（JST）。数値は変わります。