10 - Batch Processing
Mục tiêu cần hiểu
- Hiểu batch processing qua Unix tools và MapReduce.
- Nắm distributed filesystem, reduce-side join, map-side join.
- Phân biệt batch workflows với distributed databases.
Định nghĩa quan trọng
- Batch processing:
- MapReduce:
- Reduce-side join:
- Map-side join:
- Materialized intermediate state:
Mental model
Offline data processing
-> input hữu hạn
-> chạy job tạo output/materialized data
-> dễ retry, dễ reason hơn stream nhưng latency cao hơn
Câu hỏi review
- Unix philosophy liên hệ gì với dataflow?
- MapReduce job execution gồm những bước nào?
- Batch processing khác OLTP database ở mục tiêu tối ưu gì?
Liên kết