Data Freshness
Định nghĩa
Data Freshness đo việc dữ liệu trong bảng hoặc pipeline có được cập nhật đúng hạn so với SLA/SLO của downstream consumer hay không.
Cách hiểu bằng lời của tôi
Dữ liệu đúng nhưng đến trễ vẫn có thể vô dụng. Trong financial pipeline, freshness là tín hiệu vận hành quan trọng ngang với correctness vì reconciliation, ledger và planning đều phụ thuộc vào lịch cập nhật.
Ở Figma, freshness là lý do kiến trúc chuyển từ full sync nhiều ngày sang CDC gần real-time. Dữ liệu warehouse không chỉ cần đúng ở cuối ngày; nó phải đủ mới để analytics, incident response và quyết định sản phẩm không nhìn vào ảnh chụp đã cũ.
Cơ chế kiểm soát
- Theo dõi timestamp cập nhật của bảng hoặc partition.
- Alert khi dữ liệu trễ hơn ngưỡng đã cam kết.
- Kết hợp với data quality check để phân biệt “chưa có data”, “data đến trễ” và “data đến nhưng sai”.
- Đo lag giữa source write, event stream, merge job và bảng/query downstream.