블로그

ML

GPU 추론 — 지연·처리량·비용의 트레이드오프

배치 크기, 정밀도, KV 캐시, 스트리밍을 조합할 때 비용 곡선이 어떻게 바뀌는지 엔지니어 관점에서 정리합니다.