Đọc ngày 2026-08-08

Kế hoạch hôm nay

Hiểu cách train và lưu custom tokenizer, rồi dùng lại qua Hugging Face Hub.
Phân biệt các pretraining objectives như causal language modeling và masked language modeling.
Nắm các thành phần chính của training loop: data streaming, batching, optimization, evaluation và saving.
Hiểu perplexity đo gì và vì sao training ở quy mô lớn cần multi-GPU/Accelerate.

Pretraining objective quyết định model học kiểu phân phối nào từ corpus: causal language modeling cho next-token prediction và Masked Language Modeling cho việc phục hồi token bị che.
Language Modeling là lõi của pretraining: model học xác suất hoặc cấu trúc của text trước khi được giao downstream task cụ thể.
Training Loop ở quy mô pretraining gồm data loading/streaming, batching, forward, loss, backward, optimizer step, checkpointing và evaluation định kỳ.
Khi corpus và model đủ lớn, bottleneck chuyển mạnh sang compute, distributed training, GPU memory và throughput hơn là chỉ riêng thuật toán.
Perplexity là tín hiệu hữu ích để theo dõi language modeling, nhưng tự nó không đảm bảo downstream quality; vẫn cần xem mục tiêu sử dụng cuối cùng.

Chapter này dạy mình rằng pretraining là một bài toán hệ thống hoàn chỉnh: dữ liệu, tokenizer, objective, training loop và compute phải khớp nhau. Không có một phần nào “vá tạm” mà kết quả vẫn tốt được.
Nếu không có tài nguyên rất lớn, giá trị lớn nhất của chapter không phải là tự train một model khổng lồ, mà là hiểu vì sao pretrained models mạnh và khi nào mình nên dừng ở fine-tuning thay vì xây từ số 0.

Compute budget là ràng buộc thật của training from scratch; chapter này làm rõ vì sao nhiều team nên xem pretraining là ngoại lệ, không phải mặc định.