Hiệu năng, scale & system design cho ứng dụng Python
Đo và tối ưu như senior: profiling (py-spy, Scalene, cProfile, memray), tối ưu tầng ứng dụng và database, chọn cấu trúc dữ liệu, tăng tốc phần nóng bằng thư viện C/Rust (polars, orjson, PyO3), scale ngang, và trình bày system design cho hệ thống Python lớn.
"Python có scale được không?" — Instagram, Dropbox (thời kỳ dài), Reddit, Spotify backend services, OpenAI API đều có phần lõi Python. Vấn đề hiếm khi là ngôn ngữ mà là kiến trúc và vài điểm nóng chưa được đo. Vòng system design quyết định level và lương; người phỏng vấn muốn thấy bạn tìm điểm nghẽn bằng số liệu, biết khi nào Python thuần không đủ và giải pháp là gì.
🎯 Mục tiêu học tập
- Profiling CPU và bộ nhớ trên môi trường thật với chi phí thấp
- Tối ưu có thứ tự: thuật toán/truy vấn → I/O → cache → thư viện nhanh → extension
- Scale ngang ứng dụng Python: stateless, worker, connection pool, read replica
- Biết khi nào và cách dùng extension Rust/C (PyO3, Cython) hoặc tách service
- Trình bày system design theo khung 5 bước
Profiling
| Công cụ | Dùng khi |
|---|---|
py-spy top / record | Sampling profiler gắn vào process đang chạy (kể cả production), không cần sửa code, sinh flame graph |
| Scalene | CPU + bộ nhớ + phân biệt thời gian Python vs native |
| cProfile + snakeviz | Profiling chi tiết một hàm/script ở local |
| memray / tracemalloc | Cấp phát bộ nhớ, leak |
| APM (Sentry, Datadog, OpenTelemetry) | Phân bố latency theo endpoint và span trên traffic thật |
py-spy record -o profile.svg --pid $(pgrep -f gunicorn | head -1) --duration 30
py-spy dump --pid 12345 # xem ngay mọi thread đang làm gì — cực hữu ích khi service "treo"
Thứ tự tối ưu
- Truy vấn và I/O: N+1, thiếu index, gọi API tuần tự (gom bằng
asyncio.gather), chặn event loop — thường chiếm 80% vấn đề. - Cache kết quả tính toán và dữ liệu đọc nhiều (Module 8).
- Thuật toán và cấu trúc dữ liệu:
set/dicttra cứu O(1) thay vì tìm trong list, tránh nối chuỗi trong vòng lặp, generator cho dữ liệu lớn. - Thư viện nhanh:
orjsoncho JSON (FastAPIORJSONResponse),polars/NumPy cho xử lý bảng,msgspeccho serialize,uvloopcho event loop. - Extension: phần nóng thật sự (đã đo) viết bằng Rust qua PyO3/maturin, hoặc Cython; hoặc tách thành service bằng Go/Rust.
- Phiên bản Python mới: mỗi bản 3.11+ thường nhanh hơn bản trước; free-threaded cho tải CPU đa luồng khi hệ sinh thái sẵn sàng.
Scale ngang
| Thành phần | Khi chạy nhiều instance phải… |
|---|---|
| Session, cache, rate limit, lock | Redis dùng chung — không lưu trong bộ nhớ process |
| File | Object storage, không lưu đĩa local |
| Database | Pool nhỏ mỗi worker + PgBouncer; read replica cho truy vấn đọc nặng (định tuyến trong repository) |
| Job định kỳ | Celery beat một bản / scheduler có lock |
| WebSocket | Pub/sub dùng chung (Module 10) |
| Việc nặng CPU (xử lý ảnh, ML inference) | Worker pool riêng, scale độc lập theo độ dài hàng đợi |
Tính toán tài nguyên: tổng connection DB = số pod × số worker × pool_size — phải nằm dưới giới hạn DB. Đây là nguyên nhân sự cố "autoscale xong thì sập DB" phổ biến nhất với Python.
Khung system design 45 phút
- Yêu cầu (5'): chức năng, quy mô, độ trễ, nhất quán.
- Ước lượng (5'): 1 triệu DAU × 20 request ≈ 230 req/s trung bình, đỉnh ~1.000 req/s → cần bao nhiêu worker, connection, Redis ops.
- API & dữ liệu (10'): endpoint, bảng, index, khoá.
- Kiến trúc (10'): CDN → LB → FastAPI (N pod × M worker) → Redis → PostgreSQL primary/replica; Celery + broker; S3; search; dịch vụ AI.
- Đào sâu & đánh đổi (15'): điểm nghẽn, race condition, cache invalidation, lỗi phụ thuộc ngoài, chi phí.
Đề hay gặp với vị trí Python: pipeline xử lý tài liệu/AI (upload → OCR → embedding → tìm kiếm), hệ thống thông báo, job scheduler, API gateway có rate limit, hệ thống đặt chỗ, dashboard analytics, ingest dữ liệu IoT.
🏋️ Bài tập thực hành
(1) Load test capstone tới 300 req/s bằng k6 (hoặc Locust — viết bằng Python); profiling bằng py-spy, sửa 3 điểm nghẽn lớn nhất, ghi bảng p95 trước/sau. (2) Chuyển JSON sang orjson và đo. (3) Viết một hàm nóng (ví dụ tính điểm xếp hạng cho 1 triệu dòng) bằng Python thuần, polars, và Rust qua PyO3 — so sánh. (4) Read replica cho truy vấn báo cáo. (5) Tài liệu thiết kế 2 trang cho: pipeline xử lý tài liệu AI, notification đa kênh, đặt phòng chống trùng, ingest IoT — tự trình bày 30 phút mỗi đề.
📚 Tài nguyên học tập
-
py-spySampling profiler cho PythonRepo
-
ScaleneProfiler CPU/GPU/bộ nhớRepo
-
PyO3 / maturinViết extension Python bằng RustDocs
-
PolarsDataFrame nhanh viết bằng RustDocs
-
System Design PrimerKiến thức system designRepo
✅ Tự đánh giá hoàn thành
- Tìm điểm nghẽn bằng profiler, có số liệu trước/sau
- Ứng dụng stateless, tính đúng tổng connection DB khi scale
- Biết khi nào dùng thư viện nhanh/extension Rust/tách service
- Trình bày được system design theo khung 5 bước