Instruction Fine-Tuning
Định nghĩa
Instruction fine-tuning là bước fine-tune Large Language Model trên dữ liệu dạng instruction-response để model học cách làm theo yêu cầu của người dùng thay vì chỉ dự đoán token tiếp theo theo phân phối text thô.
Cách hiểu bằng lời của tôi
Pretraining dạy model “ngôn ngữ thường tiếp diễn như thế nào”; instruction fine-tuning dạy model “khi người dùng yêu cầu việc này, phản hồi hữu ích nên trông như thế nào”.
Pipeline
pretrained LM
-> tập dữ liệu prompt / instruction / answer mẫu
-> supervised fine-tuning
-> model biết format trả lời và hành vi assistant cơ bản
-> có thể tiếp tục bằng RLHF hoặc DPOĐiều cần biết
- Đây là cầu nối từ LM thuần sang assistant.
- Không nhất thiết thêm nhiều tri thức mới; chủ yếu định hình hành vi và format.
- Chất lượng data instruction ảnh hưởng mạnh tới helpfulness và robustness.