ランキングStrata出典・概要ニュースレター

Llama-3.1-Swallow-8B-Instruct の必要メモリ

パラメータ: 8B ・ ライセンス: Llama 3.1 Community ・ 構成出典 （出典）

量子化別の必要メモリ 推定

量子化4K文脈32K128K
Q4_K_M6.6 GB10.4 GB23.3 GB
Q5_K_M7.5 GB11.3 GB24.2 GB
Q8_010.5 GB14.2 GB27.1 GB
FP1618.3 GB22.1 GB35.0 GB

Q4_K_Mで載る機材（メモリ判明分）

GeForce RTX 5090GeForce RTX 5080GeForce RTX 5070 TiGeForce RTX 5070GeForce RTX 5060 Ti 16 GBGeForce RTX 4090GeForce RTX 4080GeForce RTX 4070GeForce RTX 4060 Ti 16 GBGeForce RTX 4060GeForce RTX 3090GeForce RTX 3060 12 GBRadeon RX 7900 XTXRadeon RX 9070 XTArc B580GeForce RTX 2070 SUPERGeForce RTX 2080 TiGeForce RTX 3060 TiGeForce RTX 3070GeForce RTX 3080GeForce RTX 3080 TiGeForce RTX 3090 TiGeForce RTX 4060 Ti 8 GBGeForce RTX 4070 SUPERGeForce RTX 4070 TiGeForce RTX 4070 Ti SUPERGeForce RTX 4080 SUPERGeForce RTX 5060GeForce RTX 4090 LaptopGeForce RTX 5090 LaptopRadeon RX 6700 XTRadeon RX 6800Radeon RX 6800 XTRadeon RX 6900 XTRadeon RX 6800MRadeon RX 7600Radeon RX 7700 XTRadeon RX 7800 XTRadeon RX 7900 GRERadeon RX 7900 XTRadeon RX 9060 XT 16 GBRadeon RX 9070Radeon AI PRO R9700Arc A770 16 GBArc A750Arc B570Apple M3 Ultra (Mac Studio)Apple M2 UltraApple M1 Max

新モデル・GPUの『動くか』を週1でお届け

いつでも解除できます