Data Platform as Code
Định nghĩa
Data Platform as Code là pattern để team định nghĩa schema, pipeline, endpoint, retention, access control và deployment của tài nguyên dữ liệu bằng code/config có version.
Cách hiểu bằng lời của tôi
Khi số pipeline tăng lên hàng chục nghìn, thao tác thủ công không scale. Platform cần biến dữ liệu thành “sản phẩm có owner”: có schema, lineage, health, policy và deploy tự động khi repo thay đổi.
Thành phần
- Schema và event definition do team sở hữu.
- Operator/controller tự deploy infrastructure từ định nghĩa.
- Endpoint có partitioning, retention, ACL, lineage và quality check.
- Portal/observability cho freshness, cost, failure và documentation.