A product-listing API backed by Redis serves 80k req/s across 200 app instances. A single "homepage_feed" key is read by nearly every request and is refreshed with a 60s TTL. During a traffic spike, each time that key expires the origin database sees a burst of ~15k concurrent identical queries, latency spikes, and some instances time out and retry — amplifying the burst further. You must fix this without weakening freshness guarantees much. Which approach best addresses the failure mode at this scale?

Question

Accepted Answer

Đây là cache stampede (dog-piling) trên một hot key: khi TTL hết, hàng nghìn request cùng miss và cùng gọi origin. Single-flight/mutex cho phép đúng một instance tính lại, còn các request khác nhận giá trị stale hoặc chờ, kết hợp refresh sớm theo xác suất (XFetch) để tránh đồng loạt hết hạn. (a) LFU chỉ chống eviction chứ không chống hết TTL, và TTL dài làm dữ liệu cũ hơn; (c) L1 cache 200 instance vẫn hết hạn gần như đồng thời, chỉ giảm mà không loại bỏ burst (vẫn 200 query đồng thời, và tệ hơn là lệch dữ liệu giữa các node); (d) write-behind liên quan đường ghi, không giải quyết bão đọc khi miss.','','','') ',

Câu hỏi hôm nay