DevOps cho Python: Docker với uv, Gunicorn/Uvicorn, CI/CD, observability
Đưa ứng dụng Python lên production và giữ nó sống: Docker multi-stage với uv, chọn server (Uvicorn, Gunicorn + UvicornWorker, Granian) và số worker, chạy web/worker/beat riêng, CI/CD, deploy và migration an toàn, log có cấu trúc, metric, trace, error tracking.
Fullstack Python $5000 được kỳ vọng tự đưa tính năng lên production và xử lý sự cố. Python có nhiều bẫy riêng khi deploy: image
1.5GB vì cài cả công cụ build, chạy uvicorn --reload trên production, số worker sai khiến hết RAM hoặc lãng phí CPU, Celery
worker không được restart nên chạy code cũ. Ứng viên có app thật trên domain thật, có pipeline và giám sát nổi bật hẳn.
🎯 Mục tiêu học tập
- Viết Dockerfile multi-stage nhỏ, an toàn với uv; Docker Compose cho dev
- Chọn server ASGI/WSGI và tính số worker; graceful shutdown
- Xây CI/CD: kiểm tra, build image, migrate, deploy
- Chọn nơi deploy phù hợp: PaaS, container, Kubernetes
- Cài log JSON, metric, trace OpenTelemetry, Sentry và cảnh báo
Docker với uv
FROM python:3.13-slim AS builder
COPY --from=ghcr.io/astral-sh/uv:latest /uv /usr/local/bin/uv
ENV UV_COMPILE_BYTECODE=1 UV_LINK_MODE=copy
WORKDIR /app
COPY pyproject.toml uv.lock ./
RUN uv sync --frozen --no-dev --no-install-project # layer phụ thuộc được cache
COPY src ./src
RUN uv sync --frozen --no-dev
FROM python:3.13-slim
RUN useradd --create-home app
WORKDIR /app
COPY --from=builder --chown=app:app /app /app
ENV PATH="/app/.venv/bin:$PATH" PYTHONUNBUFFERED=1
USER app
EXPOSE 8000
CMD ["gunicorn", "taskflow.main:app", "-k", "uvicorn.workers.UvicornWorker", "-w", "4", "-b", "0.0.0.0:8000", "--graceful-timeout", "30"]
- Ghim phiên bản image uv cụ thể thay vì
latestcho build tái lập được. - Cùng image chạy nhiều vai trò: web,
celery worker,celery beat(một bản duy nhất), lệnh migrate. - Thư viện cần biên dịch (psycopg, Pillow): dùng wheel có sẵn hoặc cài công cụ build chỉ ở stage builder.
- Dev: Docker Compose với Postgres, Redis, MinIO, Mailpit, Meilisearch.
Server và số worker
| Lựa chọn | Dùng khi |
|---|---|
| Uvicorn (một process mỗi container) | Kubernetes/ECS: scale bằng số pod, orchestrator lo restart |
| Gunicorn + UvicornWorker | VM/container lớn: quản lý nhiều worker process, restart worker lỗi |
| Gunicorn sync/gthread (WSGI) | Django/Flask đồng bộ truyền thống |
| Granian | Server viết bằng Rust, hỗ trợ ASGI/WSGI, hiệu năng cao |
- Số worker ≈ số core cho ASGI async; WSGI đồng bộ thường
2 × core + 1(hoặc thêm thread) — luôn kiểm chứng bằng load test và RAM. --max-requests+ jitter tái tạo worker định kỳ như lưới an toàn cho memory leak.- Xử lý SIGTERM: hoàn tất request đang chạy, đóng pool trong lifespan; Celery warm shutdown.
CI/CD và nơi deploy
# .github/workflows/ci.yml (rút gọn)
jobs:
test:
services: { postgres: { image: postgres:17, env: { POSTGRES_PASSWORD: test } }, redis: { image: redis:7 } }
steps:
- uses: actions/checkout@v4
- uses: astral-sh/setup-uv@v6
- run: uv sync --frozen
- run: uv run ruff check . && uv run ruff format --check . && uv run mypy src
- run: uv run pytest -n auto
deploy:
needs: test
if: github.ref == 'refs/heads/main'
# build & push image → chạy "alembic upgrade head" như một job riêng → rolling deploy → smoke test
| Mức | Ví dụ |
|---|---|
| PaaS | Render, Railway, Fly.io, Heroku + Postgres/Redis managed — nhanh nhất cho portfolio |
| Container managed | AWS ECS Fargate / Google Cloud Run + RDS/Cloud SQL + ElastiCache — phổ biến ở công ty |
| Kubernetes | EKS/GKE — đọc hiểu được manifest, Helm |
Migration chạy trước khi deploy code mới và phải tương thích ngược (expand/contract); worker Celery được restart cùng lần deploy.
Observability
# OpenTelemetry tự động cho FastAPI, SQLAlchemy, httpx, Redis, Celery
# uv add opentelemetry-distro opentelemetry-exporter-otlp
# opentelemetry-bootstrap -a install
# CMD: opentelemetry-instrument gunicorn taskflow.main:app ...
sentry_sdk.init(dsn=settings.sentry_dsn, traces_sample_rate=0.1, release=settings.git_sha, environment=settings.env)
- Log JSON bằng structlog kèm
request_id,trace_id,user_id,org_id; không log mật khẩu/token. - Metric RED (Rate, Errors, Duration) theo endpoint; độ dài hàng đợi Celery; số connection DB đang dùng.
- Alert theo triệu chứng (tỷ lệ 5xx, p95, task thất bại), không theo CPU.
- Health check:
/health/live(tiến trình sống) và/health/ready(DB, Redis).
🏋️ Bài tập thực hành
(1) Dockerfile multi-stage với uv, image API < 250MB, user không phải root. (2) Compose dev đầy đủ dịch vụ. (3) GitHub Actions: ruff, mypy, pytest với service, build & push image, job migrate, deploy khi merge main. (4) Deploy lên domain thật có HTTPS (PaaS hoặc Cloud Run/ECS); web, worker, beat chạy riêng. (5) OpenTelemetry trace từ API qua Postgres/Redis/Celery; Sentry cho backend và frontend. (6) Dashboard RED + alert; tự gây sự cố (Redis dừng), điều tra bằng trace/log, viết postmortem.
📚 Tài nguyên học tập
-
uv — Docker integrationDockerfile tối ưu với uvDocs
-
FastAPI — DeploymentServer, worker, DockerDocs
-
GunicornProcess manager cho Python webDocs
-
OpenTelemetry PythonTrace và metricDocs
-
Sentry for PythonError tracking và performanceDocs
✅ Tự đánh giá hoàn thành
- Image nhỏ, non-root, phụ thuộc theo lockfile
- Số worker được chọn bằng đo đạc, có graceful shutdown
- CI/CD tự động, migration tách bước và tương thích ngược
- Có trace, error tracking, dashboard và alert