Search Indexer
Định nghĩa
Search Indexer là service xử lý document/message update, tokenize/transform dữ liệu và ghi vào search index hoặc index segment.
Cách hiểu bằng lời của tôi
Indexer là write path của search. Nếu indexer dùng chung tài nguyên với query serving, bulk update hoặc backfill có thể làm query latency tăng. Vì vậy các hệ lớn thường tách indexing khỏi querying và dùng queue để absorb spike.
Pattern từ source
- DoorDash tách high-priority update khỏi bulk update theo batch.
- Twitter tách backfill service và ingestion service khỏi Elasticsearch để giảm tải trực tiếp.
- Discord group message theo destination trước khi bulk index để một node lỗi không làm hỏng cả batch.