ランキングStrata出典・概要ニュースレター

Qwen2.5 32B Instruct の必要メモリ

パラメータ: 32.5B ・ ライセンス: Apache-2.0 ・ 構成出典 （出典）

量子化別の必要メモリ 推定

量子化4K文脈32K128K
Q4_K_M22.8 GB30.3 GB56.0 GB
Q5_K_M26.3 GB33.9 GB59.6 GB
Q8_038.3 GB45.8 GB71.6 GB
FP1670.3 GB77.8 GB103.6 GB

Q4_K_Mで載る機材（メモリ判明分）

GeForce RTX 5090GeForce RTX 4090GeForce RTX 3090Radeon RX 7900 XTXGeForce RTX 3090 TiGeForce RTX 5090 LaptopRadeon AI PRO R9700Apple M3 Ultra (Mac Studio)Apple M2 UltraApple M1 Max

新モデル・GPUの『動くか』を週1でお届け

いつでも解除できます