Cascading Failure
Định nghĩa
Cascading failure là failure mode trong đó lỗi ban đầu ở một component lan sang các component khác và biến thành outage lớn hơn.
Cách hiểu bằng lời của tôi
Vấn đề không chỉ là một node chết. Vấn đề là phần traffic/work của node đó bị đẩy sang node khác, node khác quá tải, latency tăng, timeout xuất hiện, retry/failover tiếp tục đẩy tải đi nơi khác. Hệ thống tự khuếch đại lỗi ban đầu.
Cách cắt lan truyền
- Circuit Breaker để fail fast thay vì tiếp tục gọi dependency đang yếu.
- Backpressure để upstream giảm tốc.
- Load Shedding để bỏ một phần request và giữ phần còn lại sống.
- Bulkhead Pattern để cô lập resource theo tenant, region hoặc workload.