로컬 SLM, 스펙 말고 속도로 고르는 법 — FLOPs 계산 다 해봐야 토큰 생성 속도는 딴판이다
RTX 4090을 샀다. 24GB VRAM, 1,321 TOPS의 추론 성능, 메모리 대역폭 1,008 GB/s. 스펙시트만 보면 어떤 SLM이든 순식간에 돌릴 것 같다. 그래서 70B 모델을 Q4로 올렸다. 그리고 3 tok/s를 봤다.
Filed under
Filed under
RTX 4090을 샀다. 24GB VRAM, 1,321 TOPS의 추론 성능, 메모리 대역폭 1,008 GB/s. 스펙시트만 보면 어떤 SLM이든 순식간에 돌릴 것 같다. 그래서 70B 모델을 Q4로 올렸다. 그리고 3 tok/s를 봤다.