ランキングStrata出典・概要ニュースレター

Llama 3.3 70B Instruct の必要メモリ

パラメータ: 70B ・ ライセンス: Llama 3.3 Community ・ 構成出典 （出典）

量子化別の必要メモリ 推定

量子化4K文脈32K128K
Q4_K_M46.9 GB56.3 GB88.5 GB
Q5_K_M54.6 GB64.0 GB96.2 GB
Q8_080.4 GB89.8 GB122.0 GB
FP16149.3 GB158.7 GB190.9 GB

Q4_K_Mで載る機材（メモリ判明分）

Apple M3 Ultra (Mac Studio)Apple M2 Ultra

新モデル・GPUの『動くか』を週1でお届け

いつでも解除できます