Scaling Laws
Định nghĩa
Scaling Laws mô tả các quy luật thực nghiệm giữa model size, dữ liệu, compute và performance khi train model lớn.
Ý chính
- Khi tăng tham số, dữ liệu và compute theo cách hợp lý, performance thường cải thiện theo xu hướng có thể dự đoán phần nào.
- Scaling không miễn phí: chi phí hạ tầng, dữ liệu, đánh giá và vận hành tăng rất nhanh.
- Quy luật này giúp lên kế hoạch train thay vì tăng kích thước một cách mù mờ.
Cách hiểu bằng lời của tôi
Scaling laws giống như bản đồ tăng trưởng của mô hình: nếu bơm thêm tham số, dữ liệu và compute đúng cách, model thường mạnh hơn, nhưng cái giá phải trả cũng tăng rất mạnh và không phải lúc nào cũng đáng.