Micro-Batch Processing
Định nghĩa
Micro-Batch Processing chia luồng dữ liệu liên tục thành các khoảng nhỏ rồi xử lý từng khoảng như một batch mini.
Cách hiểu bằng lời của tôi
Micro-batch là điểm giữa thực dụng: vẫn giữ mental model “chunk hữu hạn chạy xong” của batch, nhưng giảm độ trễ từ ngày/giờ xuống phút/giây. Nó phù hợp khi business nói “real-time” nhưng thực ra chấp nhận một chút lag.
Trade-off
- Dễ vận hành hơn true streaming vì mỗi chunk có ranh giới.
- Có freshness tốt hơn batch lịch dài.
- Latency tối thiểu bị chặn bởi interval của micro-batch.
- Không phù hợp nếu cần phản ứng sub-second.