Your team maintains a Python service that handles ~2000 concurrent client connections, each spending most of its time waiting on HTTP calls to downstream APIs, plus a short CPU-bound JSON signature check (~5ms) per request. The service currently uses a thread pool of 200 OS threads. A colleague proposes rewriting it on asyncio with a single event loop. What is the most accurate assessment of this trade-off?

Question

Accepted Answer

Coroutine chỉ tốn vài KB bộ nhớ và chuyển ngữ cảnh trong user-space, nên rẻ hơn nhiều so với 200 OS thread (mỗi thread tốn stack ~8MB ảo + chi phí context switch của kernel) khi phần lớn thời gian là chờ I/O; nhưng event loop là đơn luồng cooperative, nên 5ms CPU thuần sẽ chặn toàn bộ loop và phải đẩy qua run_in_executor. (b) sai vì coroutine không chạy song song trên nhiều core — chúng vẫn nằm trong một luồng; (c) sai vì GIL được nhả khi thread chờ I/O, và chi phí per-connection khác nhau rõ rệt giữa hai mô hình; (d) sai vì asyncio dùng epoll/kqueue để ghép kênh hàng nghìn socket trên một luồng.

Câu hỏi hôm nay