Đọc ngày 2026-08-08
Kế hoạch hôm nay
Mục tiêu cần hiểu
- Hiểu cách train và lưu custom tokenizer, rồi dùng lại qua Hugging Face Hub.
- Phân biệt các pretraining objectives như causal language modeling và masked language modeling.
- Nắm các thành phần chính của training loop: data streaming, batching, optimization, evaluation và saving.
- Hiểu perplexity đo gì và vì sao training ở quy mô lớn cần multi-GPU/Accelerate.
Câu hỏi dẫn đường
- Pretraining objective quyết định model học gì?
- Compute và dữ liệu ảnh hưởng kế hoạch training như thế nào?
- Nếu không có tài nguyên lớn, tôi có thể học gì từ chapter này?
Ghi chú trong khi đọc
Viết lại bằng lời của tôi
Điều chưa rõ
Việc cần làm