Data Lifecycle Management
Định nghĩa
Data Lifecycle Management là tập chính sách quyết định dữ liệu được tạo, lưu, cache, nén, di chuyển, expire, archive hoặc xóa như thế nào trong suốt vòng đời của nó.
Cách hiểu bằng lời của tôi
Dữ liệu không có cùng giá trị mãi mãi. Record vừa mới tạo có thể cần latency thấp và consistency tốt; vài tháng sau nó chỉ còn giá trị lịch sử; vài năm sau có thể chỉ cần summary. Lifecycle policy biến khác biệt đó thành kiến trúc storage cụ thể.
Cơ chế thường gặp
- TTL để tự động expire dữ liệu không còn cần.
- Retention khác nhau cho raw event và aggregate.
- Data rotation từ cluster nhanh sang cluster rẻ hơn.
- Storage class tiering để chuyển object cũ/ít truy cập sang lớp lưu trữ rẻ hơn.
- Compression/downsampling cho dữ liệu cũ.
- Per-namespace/per-record/per-item expiration để kiểm soát graph hoặc event store phình ra.
Câu hỏi thiết kế
- Dữ liệu mới/cũ được query khác nhau thế nào?
- Có cần audit/replay từ raw event không, hay aggregate là đủ?
- Dữ liệu nào được phép stale, dữ liệu nào phải read-your-writes?
- Expiration theo user, theo namespace hay theo item?