Raw Feature Transport
Định nghĩa
Raw Feature Transport là cách truyền feature qua data plane dưới dạng bytes/raw representation và trì hoãn deserialize đến inference engine để giảm overhead.
Cách hiểu bằng lời của tôi
Ở scale lớn, latency không chỉ nằm trong model. Snap phát hiện serialization/deserialization feature chiếm phần đáng kể, nên đổi API để feature đi dưới dạng raw bytes và chỉ deserialize bên trong inference engine. Đây là tối ưu “boring plumbing” nhưng có tác động rất lớn.