DevOps Engineering
Trang chủ / Module 7
📈 Module 7 / 13 · 1-2 tuần

Observability — Metrics, Logs, Traces

3 trụ cột Observability: Prometheus cho metrics, Grafana cho dashboard, Loki/ELK cho log tập trung, và OpenTelemetry cho distributed tracing.

PrometheusGrafanaOpenTelemetry
📌 Vì sao module này quan trọng

Hệ thống phân tán (nhiều service, nhiều Pod, nhiều node — Module 6) không thể debug bằng cách "SSH vào xem log" như 1 máy đơn lẻ. Observability là năng lực bắt buộc để biết hệ thống đang khoẻ hay không, và khi có sự cố, tìm ra nguyên nhân nhanh — nối tiếp trực tiếp Module 11 khoá AI Engineer (Evaluation & Observability) nhưng ở tầng hạ tầng thay vì tầng ứng dụng AI.

🎯 Mục tiêu học tập

  • Hiểu 3 trụ cột Observability: Metrics, Logs, Traces và vai trò riêng của từng loại
  • Triển khai Prometheus để thu thập metrics và Grafana để trực quan hoá
  • Tập trung hoá log từ nhiều service bằng Loki hoặc ELK stack
  • Áp dụng distributed tracing bằng OpenTelemetry cho hệ thống nhiều microservice

3 trụ cột Observability

Trụ cộtTrả lời câu hỏiCông cụ phổ biến
Metrics"Hệ thống đang khoẻ hay không, xu hướng thế nào theo thời gian?"Prometheus + Grafana
Logs"Chính xác điều gì đã xảy ra ở thời điểm cụ thể này?"Loki, ELK (Elasticsearch/Logstash/Kibana)
Traces"1 request đi qua bao nhiêu service, service nào chậm nhất?"OpenTelemetry + Jaeger/Tempo

Ba trụ cột bổ sung cho nhau: Metrics phát hiện có vấn đề (latency tăng đột biến), Traces chỉ ra vấn đề ở đâu (service nào trong chuỗi gọi), Logs cho biết chính xác chuyện gì đã xảy ra ở service đó.

Prometheus & Grafana — Metrics

Prometheus hoạt động theo mô hình pull: định kỳ tự động gọi đến endpoint /metrics mà ứng dụng expose sẵn (khác với nhiều hệ thống logging đẩy dữ liệu theo mô hình push) — ứng dụng chỉ cần phơi bày số liệu ở định dạng chuẩn, không cần tự gửi đi đâu:

# Ứng dụng FastAPI expose metrics (dùng thư viện prometheus-client)
# GET /metrics trả về:
# http_requests_total{method="GET",status="200"} 1523
# http_request_duration_seconds_bucket{le="0.1"} 1200
# prometheus.yml — cấu hình Prometheus tự động scrape metrics định kỳ
scrape_configs:
  - job_name: 'api-server'
    kubernetes_sd_configs:
      - role: pod
    scrape_interval: 15s

Grafana kết nối vào Prometheus làm nguồn dữ liệu, xây dashboard trực quan (latency P50/P95/P99, tỉ lệ lỗi, throughput — đúng các chỉ số đã học ở Module 10-11 khoá AI Engineer) và cấu hình alert tự động (gửi Slack/PagerDuty khi latency P95 vượt ngưỡng trong N phút liên tục).

Log tập trung — Loki hoặc ELK

Với hàng chục Pod chạy trên nhiều node (Module 6), log rải rác từng container riêng lẻ vô dụng khi debug — cần tập trung hoá toàn bộ log về 1 nơi tìm kiếm được:

  • Loki (cùng hệ sinh thái Grafana): nhẹ hơn ELK, chỉ index label (không index toàn bộ nội dung log như Elasticsearch) — chi phí vận hành thấp hơn, phù hợp khi đã dùng Grafana cho metrics, muốn xem log/metrics trong cùng giao diện.
  • ELK Stack (Elasticsearch + Logstash/Fluentd + Kibana): mạnh hơn cho tìm kiếm full-text phức tạp trên log, hệ sinh thái lâu đời, nhưng chi phí vận hành (đặc biệt Elasticsearch) cao hơn đáng kể ở quy mô lớn.

Nguyên tắc log tốt: structured logging (log dạng JSON có field rõ ràng: timestamp, level, service, request_id) thay vì text tự do — giúp tìm kiếm/lọc chính xác thay vì phải "grep mò".

Distributed Tracing với OpenTelemetry

Khi 1 request đi qua nhiều service (API gateway → auth service → order service → payment service), trace ghi lại toàn bộ hành trình đó dưới dạng chuỗi span (mỗi span là 1 đơn vị công việc ở 1 service, có thời gian bắt đầu/kết thúc) — cho phép nhìn thấy chính xác service nào đang là "nút thắt cổ chai" latency trong 1 request cụ thể, điều gần như không thể làm được chỉ bằng log rời rạc từng service.

OpenTelemetry (thường viết tắt OTel) là chuẩn mã nguồn mở hợp nhất (được cả AWS, Google, Microsoft cùng hậu thuẫn) để thu thập cả metrics, logs, và traces qua 1 SDK duy nhất — tránh phải tích hợp riêng biệt nhiều SDK độc quyền của từng vendor observability khác nhau, và dữ liệu thu thập được xuất (export) sang bất kỳ backend nào (Prometheus, Jaeger, Grafana Tempo, hoặc dịch vụ thương mại).

🏋️ Bài tập thực hành

Stack Observability tối thiểu cho ứng dụng thật

Với ứng dụng FastAPI đã container hoá (khoá Docker), thêm thư viện prometheus-client expose endpoint /metrics. Triển khai Prometheus + Grafana bằng Docker Compose (khoá Docker, Module 5), cấu hình Prometheus scrape ứng dụng, xây 1 dashboard Grafana đơn giản hiển thị request rate và latency. Nếu có thời gian, thêm structured logging (JSON) cho ứng dụng và thử dùng Loki để tìm kiếm log theo request_id cụ thể.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Giải thích được vai trò riêng biệt của Metrics, Logs, Traces
  • Triển khai được Prometheus scrape metrics từ 1 ứng dụng thật, xây dashboard Grafana cơ bản
  • Áp dụng structured logging cho ứng dụng
  • Giải thích được distributed tracing giải quyết vấn đề gì mà log/metrics không giải quyết được