🤖 Module 10 / 14 · 3 tuần

Databricks for AI/LLM — Mosaic AI

Foundation Model APIs, Mosaic AI Model Serving, Mosaic AI Vector Search, AI Gateway, xây RAG/Agent production trên lakehouse.

Mosaic AIVector SearchRAGModel Serving

📌 Vì sao module này quan trọng

Đây là module kết nối trực tiếp với kiến thức bạn đã học ở AI Engineer Master Course (RAG, Agent, Vector DB, Model Gateway) — nhưng triển khai trên nền tảng lakehouse thống nhất thay vì ghép nhiều dịch vụ rời rạc. Lợi thế cốt lõi: dữ liệu dùng cho RAG đã có sẵn governance (Unity Catalog), đã có sẵn pipeline cập nhật (Lakeflow), và Vector Search tự động đồng bộ từ bảng Delta — giảm đáng kể số hệ thống rời rạc phải tự ghép nối so với tự xây từ đầu.

🎯 Mục tiêu học tập

Gọi model nền tảng (Llama, DBRX, hoặc model bên ngoài như Claude/GPT) qua Foundation Model APIs
Triển khai Mosaic AI Vector Search đồng bộ tự động từ bảng Delta, không cần pipeline ETL riêng cho vector DB
Deploy model/endpoint qua Mosaic AI Model Serving
Xây dựng một pipeline RAG production hoàn chỉnh tận dụng governance có sẵn của Unity Catalog
Hiểu vai trò AI Gateway trong việc quản lý nhiều model provider tập trung

Foundation Model APIs

Databricks cung cấp quyền truy cập trả-theo-token tới các model nền tảng phổ biến (model mã nguồn mở như Llama, DBRX do chính Databricks/Mosaic huấn luyện, và cả model bên ngoài như Claude/GPT/Gemini thông qua cấu hình external model) — tất cả gọi qua cùng một API thống nhất, tương tự khái niệm model routing/gateway đã học ở Module 4-5 của khoá AI Engineer, nhưng được Databricks vận hành sẵn:

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="databricks-claude-sonnet-5",  # hoặc endpoint model nội bộ/model nền tảng khác
    messages=[{"role": "user", "content": "Tóm tắt đoạn văn sau..."}],
    max_tokens=512,
)

Mosaic AI Vector Search — Vector DB đồng bộ tự động từ Delta

Khác biệt lớn nhất so với vector DB độc lập (Qdrant/Pinecone ở khoá AI Engineer, Module 7): Vector Search tự động đồng bộ (continuous sync) từ một bảng Delta nguồn — bạn chỉ cần cập nhật bảng Delta (qua pipeline Lakeflow bình thường), Vector Search tự phát hiện thay đổi và cập nhật index, không cần tự viết job đồng bộ riêng giữa "nguồn dữ liệu" và "vector DB" như khi tự ghép nối hệ thống.

from databricks.vector_search.client import VectorSearchClient

client = VectorSearchClient()
index = client.create_delta_sync_index(
    endpoint_name="rag_endpoint",
    source_table_name="prod.gold.document_chunks",  # bảng Delta chứa chunk đã contextual-chunk (xem khoá AI Engineer, Module 6)
    index_name="prod.gold.document_chunks_index",
    pipeline_type="TRIGGERED",  # hoặc CONTINUOUS cho độ trễ thấp hơn
    primary_key="chunk_id",
    embedding_source_column="content",
    embedding_model_endpoint_name="databricks-gte-large-en",
)

results = index.similarity_search(
    query_text="Chính sách đổi trả hàng thế nào?",
    columns=["content", "document_id"],
    num_results=5,
)

Toàn bộ kỹ thuật đã học ở Module 6 khoá AI Engineer (contextual chunking, hybrid search, reranking) vẫn áp dụng nguyên vẹn — khác biệt chỉ nằm ở tầng hạ tầng lưu trữ/đồng bộ vector, không phải ở tư duy thiết kế RAG.

Mosaic AI Model Serving

Endpoint phục vụ model real-time, hỗ trợ cả model tự huấn luyện (đăng ký qua MLflow Model Registry ở Module 9) lẫn model nền tảng/bên ngoài — autoscale theo lưu lượng, hỗ trợ A/B testing giữa nhiều phiên bản model trên cùng một endpoint, và tích hợp sẵn giám sát độ trễ/lỗi. Đây là đích đến production cho cả model ML truyền thống (Module 9) lẫn ứng dụng GenAI (RAG/Agent).

AI Gateway — quản lý tập trung nhiều model provider

AI Gateway đứng trước các endpoint Model Serving, cung cấp một lớp quản lý tập trung: rate limiting, kiểm soát chi phí theo ngân sách, ghi log request/response tập trung cho mục đích audit, và guardrail nội dung (chặn PII, nội dung không phù hợp) — đúng những mối quan tâm Production AI Systems đã học ở khoá AI Engineer (Module 10), nhưng được cung cấp như một tính năng nền tảng thay vì phải tự xây dựng toàn bộ.

Agent Framework & Đánh giá chất lượng

Mosaic AI Agent Framework hỗ trợ xây dựng agent (tương tự các pattern ReAct/Orchestrator ở khoá AI Engineer Module 8) với công cụ (tool) là chính các hàm Unity Catalog (UC Functions) — cho phép agent gọi thẳng logic nghiệp vụ đã định nghĩa trong lakehouse một cách có governance. Agent Evaluation (tích hợp MLflow) cung cấp bộ metric đánh giá tương tự Ragas/LLM-as-judge đã học ở Module 11 khoá AI Engineer, giúp chạy regression test trên golden dataset ngay trong cùng nền tảng đang lưu trữ dữ liệu.

🏋️ Bài tập thực hành

RAG production trên Lakehouse

Lấy lại bộ tài liệu và golden dataset đã dùng ở Module 6/11 của khoá AI Engineer Master Course. Nạp tài liệu vào bảng Delta qua pipeline Lakeflow (Module 6 của khoá này), tạo Mosaic AI Vector Search index đồng bộ tự động từ bảng đó, xây 1 endpoint Model Serving gọi Foundation Model API kết hợp kết quả retrieval. So sánh trải nghiệm vận hành với việc tự ghép Qdrant/pgvector + FastAPI ở khoá AI Engineer — ghi lại điểm nào tiện hơn, điểm nào kém linh hoạt hơn.

📚 Tài nguyên học tập

Databricks — Mosaic AI overviewTổng quan các sản phẩm Mosaic AI cho GenAI
Docs
Databricks — Foundation Model APIsTài liệu Foundation Model APIs
Docs
Databricks — Mosaic AI Vector SearchTài liệu Vector Search
Docs
Databricks — Mosaic AI Agent FrameworkTài liệu xây dựng Agent trên Databricks
Docs

✅ Tự đánh giá hoàn thành

Gọi được Foundation Model API cho cả model mã nguồn mở và model bên ngoài
Tạo được Vector Search index đồng bộ tự động từ 1 bảng Delta
Deploy được 1 endpoint qua Mosaic AI Model Serving
Xây được RAG pipeline hoàn chỉnh tận dụng governance Unity Catalog

← Trước đó

Module 9: MLflow — Experiment Tracking & Model Registry

Module 11: Performance Tuning & Cost Optimization