Prediction Serving Fanout
Định nghĩa
Prediction Serving Fanout là hiện tượng một user request mở rộng thành hàng trăm hoặc hàng nghìn model evaluations cho nhiều candidate trước khi trả về danh sách ngắn.
Cách hiểu bằng lời của tôi
Ranking workload bất đối xứng: một request vào, rất nhiều cặp user-candidate cần score, rồi chỉ vài item ra. Vì vậy latency budget bị chi phối bởi retrieval, feature lookup, batching, serialization và inference parallelism chứ không chỉ model latency đơn lẻ.