Database cho AI/RAG Workloads
Kết nối dữ liệu quan hệ với vector database, mô hình feature store, và các pattern lưu trữ embedding cho hệ thống RAG production.
Khoá AI Engineer Master Course đã dạy vector database cho RAG, và khoá Databricks đã dạy Mosaic AI Vector Search ở tầng lakehouse — module này là mảnh ghép còn thiếu: cách kết nối dữ liệu quan hệ có cấu trúc (OLTP) với dữ liệu vector trong cùng một hệ thống production, vì hệ thống RAG thực tế gần như luôn cần cả 2, không chỉ vector search đơn thuần.
🎯 Mục tiêu học tập
- Giải thích vì sao hệ thống RAG production cần kết hợp vector search với dữ liệu quan hệ có cấu trúc
- Thiết kế schema lưu embedding kèm metadata phục vụ lọc kết hợp (hybrid filtering)
- Hiểu khái niệm feature store và vai trò của nó trong hệ thống ML/AI production
- Áp dụng đúng chiến lược cập nhật embedding khi dữ liệu nguồn thay đổi
Vì sao RAG thật cần nhiều hơn vector search đơn thuần
Vector search trả lời câu hỏi "đoạn văn nào giống về mặt ngữ nghĩa" — nhưng câu hỏi thực tế của người dùng thường có thêm điều kiện lọc cấu trúc: "tài liệu về chính sách hoàn tiền, chỉ trong phòng ban Sales, còn hiệu lực, người dùng có quyền xem". Đây là bài toán hybrid filtering — kết hợp vector similarity search với điều kiện WHERE truyền thống (department, status, quyền truy cập) — hầu hết vector database hiện đại (pgvector, Pinecone, Qdrant) hỗ trợ filter kèm theo truy vấn vector, nhưng thiết kế schema/metadata đúng ngay từ đầu quyết định filter đó có hiệu quả hay phải quét toàn bộ.
-- pgvector: kết hợp similarity search với điều kiện quan hệ truyền thống trong CÙNG 1 query
SELECT id, content, department, status
FROM documents
WHERE department = 'sales' AND status = 'active'
ORDER BY embedding <=> '[0.12, -0.45, ...]'::vector
LIMIT 5;
Đây là lợi thế lớn của pgvector (chạy trong PostgreSQL) so với vector database chuyên dụng tách rời: filter cấu trúc và vector search chạy trong cùng 1 engine, cùng 1 transaction, không cần đồng bộ dữ liệu giữa 2 hệ thống riêng biệt (liên hệ trực tiếp CDC ở Module 11 nếu buộc phải dùng vector DB tách rời).
Thiết kế schema embedding kèm metadata
Mỗi embedding nên đi kèm đủ metadata để lọc mà không cần join ngược lại bảng gốc trong đường dẫn truy vấn nóng (hot path): nguồn tài liệu, thời điểm tạo/cập nhật, quyền truy cập, và ID trỏ về bản ghi gốc để lấy nội dung đầy đủ khi cần. Một sai lầm phổ biến: chỉ lưu embedding + text đã chunk mà không lưu lại liên kết về nguồn — khi cần cập nhật hoặc xoá theo tài liệu gốc (ví dụ tài liệu bị thu hồi), không có cách nào tìm lại chính xác các chunk embedding liên quan.
CREATE TABLE document_chunks (
id BIGSERIAL PRIMARY KEY,
source_document_id BIGINT NOT NULL REFERENCES documents(id),
chunk_index INT NOT NULL,
content TEXT NOT NULL,
embedding VECTOR(1536),
department TEXT,
access_level TEXT,
updated_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE INDEX ON document_chunks USING hnsw (embedding vector_cosine_ops);
CREATE INDEX ON document_chunks (source_document_id);
Feature Store — dữ liệu đặc trưng nhất quán giữa training và serving
Feature store là 1 lớp lưu trữ trung tâm cho các "đặc trưng" (feature) dùng để train và serve model ML — giải quyết vấn đề training-serving skew: khi feature được tính khác nhau lúc train (batch, từ data warehouse) và lúc serving thực tế (real-time, từ API) do 2 đội viết 2 đoạn code tính toán riêng biệt, dẫn đến model hoạt động khác với lúc test. Feature store cung cấp 1 định nghĩa feature duy nhất, phục vụ cả 2 luồng: offline store (dữ liệu lịch sử lớn, dùng để train, thường trên nền tảng như Databricks) và online store (độ trễ thấp, thường là key-value store như Redis, phục vụ inference real-time) — đảm bảo cùng 1 công thức tính feature ở cả hai nơi.
Cập nhật embedding khi dữ liệu nguồn thay đổi
Embedding không tự động cập nhật khi tài liệu gốc thay đổi — cần chiến lược tái tạo (re-embedding) rõ ràng: theo lịch định kỳ (đơn giản nhưng có độ trễ), hoặc theo sự kiện qua CDC (Module 11) để re-embed gần như ngay khi tài liệu nguồn được cập nhật. Với tài liệu bị xoá/thu hồi, cần xoá chunk embedding tương ứng — bỏ sót bước này khiến hệ thống RAG tiếp tục trả lời dựa trên nội dung đã không còn hợp lệ, một lỗi khó phát hiện vì hệ thống vẫn "chạy bình thường" và trả lời trôi chảy, chỉ là trả lời sai.
🏋️ Bài tập thực hành
Dùng PostgreSQL với extension pgvector (container hoá bằng Docker), tạo bảng document_chunks như ví dụ trên với dữ liệu giả (dùng embedding ngẫu nhiên nếu chưa có model thật). Viết query kết hợp lọc theo department + access_level VÀ similarity search trong cùng 1 câu lệnh, đo thời gian chạy với và không có index HNSW. Thiết kế (bằng lời, không cần code đầy đủ) luồng CDC cập nhật embedding khi tài liệu nguồn trong bảng documents bị UPDATE hoặc DELETE.
📚 Tài nguyên học tập
-
pgvector — GitHubExtension vector search cho PostgreSQLDocs
-
Feast — Open Source Feature StoreFeature store mã nguồn mở phổ biến, minh hoạ rõ khái niệm offline/online storeDocs
-
PostgreSQL — pgvector Indexing (HNSW/IVFFlat)Hướng dẫn chọn và cấu hình index cho vector search trong pgvectorDocs
✅ Tự đánh giá hoàn thành
- Giải thích được vì sao hybrid filtering quan trọng hơn vector search thuần tuý trong RAG production
- Thiết kế schema embedding có đủ metadata để lọc và truy vết về nguồn
- Giải thích được training-serving skew và cách feature store giải quyết nó
- Thiết kế được chiến lược cập nhật/xoá embedding khi dữ liệu nguồn thay đổi