11 - Stream Processing

Mục tiêu cần hiểu

• Hiểu event streams, messaging systems, partitioned logs.
• Nắm change data capture, event sourcing, immutability.
• Biết xử lý time, stream joins, fault tolerance trong stream processing.

Định nghĩa quan trọng

• Event stream:
• Message broker:
• Partitioned log:
• Change data capture:
• Event sourcing:
• Event time:
• Processing time:

Mental model

Data liên tục thay đổi
-> encode change as event stream
-> consumers derive views/indexes/materialized state
-> correctness phụ thuộc ordering, time, replay, idempotence

Câu hỏi review

• Message queue và log khác nhau ở khả năng replay/lưu history như thế nào?
• CDC giúp giữ systems in sync ra sao?
• Vì sao event time khó hơn processing time?

Liên kết

• Book: Designing Data-Intensive Applications
• PDF: PDF tr. 461