Serverless Worker Sharding
Định nghĩa
Serverless Worker Sharding định tuyến request của một worker/app đến cùng một home server trong data center để giữ instance warm và giảm số lần cold start.
Cách hiểu bằng lời của tôi
Cloudflare không cố làm mọi cold start nhanh hơn; họ làm cold start ít xảy ra hơn. Với low-traffic Worker, nếu request bị rải ra hàng trăm server thì server nào cũng thấy nó “lâu lâu mới đến” và liên tục eviction. Sharding gom request về một home server để memory reuse hiệu quả hơn.
Cơ chế
worker id + server list
-> consistent hash ring chọn home server
-> shard client forward request đến shard server nếu cần
-> nếu home server quá tải, request fallback về local lazy workerTrade-off
- Giảm eviction và tăng warm request rate.
- Thêm một lần nhảy nội bộ khi request không đến đúng home server.
- Cần load-shedding/fallback để một worker nóng không làm quá tải home server.