https://vo-hoang-kh4ng.github.io/tags/sglang/ Recent content in SGLang on Kh4ng Hugo vi-VN Sat, 22 Aug 2026 10:00:00 +0700 https://vo-hoang-kh4ng.github.io/posts/serving-llm/ Sat, 22 Aug 2026 10:00:00 +0700 https://vo-hoang-kh4ng.github.io/posts/serving-llm/ Model benchmark đẹp, demo trên máy cá nhân mượt — nhưng đưa lên production cho 5000 người dùng cùng lúc thì GPU báo Out-of-memory. Đi từ prefill/decode, KV Cache, PagedAttention, continuous batching, chunked prefill, đến cách chọn serving engine (vLLM, SGLang…) — và vì sao vấn đề không nằm ở model mà nằm ở cách serving.