You are building a small Python web service that, for each incoming request, calls three external REST APIs and waits for their responses. Profiling shows the process is idle ~95% of the time, just waiting on network I/O; CPU usage stays under 5%. The service must handle a few thousand concurrent requests on a single small container with limited memory. Which concurrency approach best fits this constraint?

Question

Accepted Answer

Công việc ở đây là I/O-bound: phần lớn thời gian chỉ chờ mạng, nên async/await cho phép một thread duy nhất giữ hàng nghìn tác vụ đang chờ với chi phí bộ nhớ rất nhỏ. Một thread cho mỗi request (b) tốn vài trăm KB–vài MB stack mỗi thread cộng chi phí context switch, không scale tới vài nghìn kết nối trên container nhỏ; process pool (c) hợp với tác vụ CPU-bound chứ không giải quyết việc chờ I/O và còn tốn nhiều RAM hơn. Phương án (d) dùng mutex thực chất tuần tự hóa các lời gọi, biến hệ thống thành xử lý từng request một — tệ hơn cả bản đồng bộ thông thường.

Câu hỏi hôm nay