Training-Serving Skew
Định nghĩa
Training-Serving Skew là lỗi khi dữ liệu, feature, preprocessing hoặc phân phối mà model thấy lúc training khác với lúc serving production.
Cách hiểu bằng lời của tôi
Model có thể score tốt offline nhưng tệ ngoài đời nếu feature online không giống feature offline. Đây là lỗi hệ thống, không chỉ lỗi model. Feature store, prediction logging và online/offline comparison tồn tại để phát hiện và giảm skew.
Cách giảm
- Dùng cùng metadata và định nghĩa feature cho offline/online.
- Log feature thực tế tại thời điểm prediction.
- Recompute offline prediction để so với online output.
- Monitor feature/prediction distribution drift.