SFT on Kh4ng https://vo-hoang-kh4ng.github.io/tags/sft/ Recent content in SFT on Kh4ng Hugo vi-VN Sun, 20 Sep 2026 10:00:00 +0700 Từ SFT đến RLHF: Preference Data, Reward Model và PPO https://vo-hoang-kh4ng.github.io/posts/rlhf-reward-model-ppo/ Sun, 20 Sep 2026 10:00:00 +0700 https://vo-hoang-kh4ng.github.io/posts/rlhf-reward-model-ppo/ SFT dạy model cách trả lời, nhưng không dạy được thế nào là trả lời tốt. Đi từ giới hạn của SFT sang preference data, xây reward model bằng Bradley–Terry, rồi dùng PPO cùng KL penalty để tối ưu policy, cùng những cái giá phải trả: alignment tax, chi phí tính toán, và reward hacking.