🖥️ Module 9 / 14 · 1 tuần

Hạ tầng Training: GPU, Distributed Training cơ bản

Chọn GPU đúng, thuê GPU cloud theo giờ, khái niệm distributed training (Data/Model Parallelism), DeepSpeed/FSDP cơ bản.

🎯 Mục tiêu học tập

• Chọn đúng loại và số lượng GPU theo nhu cầu (tương tự bảng cấu hình máy đã học ở Module 17 khoá AI Engineer, nhưng cho training thay vì inference)
• Hiểu 2 kiểu song song hoá chính: Data Parallelism và Model Parallelism
• Biết khi nào cần DeepSpeed ZeRO hoặc PyTorch FSDP, và ý tưởng cốt lõi đằng sau chúng
• So sánh các lựa chọn thuê GPU cloud theo giờ

---

Chọn GPU cho Training — khác gì so với Inference

Module 17 khoá AI Engineer đã cho bảng cấu hình máy cho inference (chạy model có sẵn). Training cần nhiều VRAM hơn hẳn cho cùng kích thước model, vì phải lưu thêm gradient và optimizer state:

Kịch bản	VRAM cần thiết (ước lượng)	GPU gợi ý
QLoRA, model 7B	12-16GB	RTX 4060 Ti 16GB, RTX 4070, hoặc thuê 1× A10/L4
LoRA (không lượng tử hoá), model 7B	20-24GB	RTX 4090, hoặc thuê 1× A10G/L40S
QLoRA, model 13-14B	18-24GB	RTX 4090, hoặc thuê 1× A10G/L40S
Full Fine-tuning, model 7B	>100GB (cần multi-GPU)	Thuê cụm nhiều A100/H100

Data Parallelism vs Model Parallelism

• Data Parallelism: mỗi GPU giữ toàn bộ 1 bản sao model, nhưng xử lý một phần khác nhau của batch dữ liệu song song, rồi đồng bộ gradient giữa các GPU sau mỗi bước — cách đơn giản nhất để tăng tốc bằng nhiều GPU, nhưng đòi hỏi mỗi GPU đủ VRAM chứa cả model (không giải quyết được vấn đề "model quá lớn cho 1 GPU").
• Model Parallelism: chia bản thân model ra nhiều phần, mỗi GPU chỉ giữ một phần (ví dụ một số layer, hoặc chia nhỏ từng weight matrix) — giải quyết đúng vấn đề "model quá lớn", nhưng phức tạp hơn và có overhead giao tiếp giữa các GPU trong lúc forward/backward pass.

DeepSpeed ZeRO & PyTorch FSDP — ý tưởng cốt lõi

Cả hai framework giải quyết cùng một vấn đề theo cách tương tự: thay vì mỗi GPU giữ bản sao đầy đủ của weight + gradient + optimizer state (lãng phí khi có nhiều GPU), chúng chia nhỏ (shard) các thành phần này ra nhiều GPU, chỉ tổng hợp lại (gather) khi thực sự cần dùng đến trong forward/backward pass. DeepSpeed ZeRO có 3 cấp độ (Stage 1: chia optimizer state; Stage 2: thêm chia gradient; Stage 3: thêm chia cả weight) — cấp độ càng cao càng tiết kiệm bộ nhớ nhưng overhead giao tiếp càng nhiều. PyTorch FSDP (Fully Sharded Data Parallel) là giải pháp tương đương tích hợp sẵn trong PyTorch, ngày càng phổ biến vì không cần cài thêm thư viện ngoài.

Thuê GPU Cloud theo giờ — so sánh nhanh

Dịch vụ	Đặc điểm
RunPod	Giá cạnh tranh, giao diện đơn giản, cả GPU cộng đồng (rẻ hơn) và secure cloud
Lambda Labs	Tập trung GPU cho AI/ML, ổn định, có cả on-demand và reserved
Google Colab	Miễn phí ở mức giới hạn, Colab Pro trả phí — tiện cho thử nghiệm nhanh, không phù hợp job dài/production
AWS/Azure/GCP (Module 13 khoá AI Engineer)	Tích hợp hệ sinh thái doanh nghiệp sẵn có, thường đắt hơn dịch vụ chuyên biệt cho cùng loại GPU
Databricks (Module 2 khoá Databricks)	Phù hợp khi training là một phần của pipeline lakehouse lớn hơn, tận dụng MLflow tracking sẵn có

🏋️ Bài tập thực hành

📚 Tài nguyên học tập

• Hugging Face — Model memory calculatorƯớc lượng VRAM cần cho training/inference theo kích thước model
  Tool
• DeepSpeed — DocumentationTài liệu chính thức DeepSpeed ZeRO
  Docs
• PyTorch — FSDP tutorialHướng dẫn chính thức PyTorch FSDP
  Docs
• Hugging Face — Accelerate documentationThư viện điều phối training đa GPU của Hugging Face
  Docs

✅ Tự đánh giá hoàn thành

• Ước lượng đúng VRAM cần thiết cho một kịch bản training cụ thể
• Giải thích được sự khác nhau giữa Data Parallelism và Model Parallelism
• Hiểu ý tưởng cốt lõi của DeepSpeed ZeRO/FSDP (sharding) dù chưa cần dùng đến
• So sánh được chi phí giữa ít nhất 2 dịch vụ GPU cloud cho cùng nhu cầu

Đánh dấu đã hoàn thành module này