100 câu Database & Kiến trúc nâng cao
Trang chủ / Chủ đề 5
🧩 Chủ đề 5 / 10 ❓ Câu 41-50

Sharding & mô hình dữ liệu quy mô lớn

Chiến lược sharding và chọn shard key, hot partition, resharding, truy vấn và transaction chéo shard, Distributed SQL, DynamoDB single-table, time-series, sinh ID toàn cục, multi-tenant quy mô lớn, vector search.

📌 Người phỏng vấn muốn kiểm tra điều gì

Đây là phần 'cực khó' của database: một quyết định sai (shard key) có thể khoá đội ngũ vào nhiều năm migrate đau đớn. Người phỏng vấn không cần bạn đã vận hành 500 shard, nhưng muốn thấy bạn biết sharding là phương án cuối cùng, hiểu chính xác mình mất gì khi shard, và chọn khoá dựa trên mẫu truy cập thật.

📋 Danh sách câu hỏi

  1. 41So sánh sharding theo range, hash và directory (lookup). Bạn chọn shard key thế nào?●●●● Cực khó
  2. 42Hot partition / hot key là gì (ví dụ tài khoản người nổi tiếng, flash sale)? Xử lý thế nào?●●●● Cực khó
  3. 43Bạn cần tăng từ 4 lên 16 shard khi hệ thống đang chạy. Resharding online thực hiện thế nào? Consistent hashing giúp gì?●●●● Cực khó
  4. 44Sau khi shard theo tenant, làm sao thực hiện truy vấn chéo shard (báo cáo toàn hệ thống) và ràng buộc unique toàn cục (email duy nhất)?●●●● Cực khó
  5. 45Distributed SQL (Spanner, CockroachDB, YugabyteDB, TiDB) giải quyết vấn đề gì? Khi nào nên và không nên dùng?●●●● Cực khó
  6. 46Thiết kế dữ liệu cho DynamoDB theo 'single-table design' khác gì thiết kế quan hệ?●●●● Cực khó
  7. 47Lưu trữ và truy vấn dữ liệu time-series (metric, IoT, sự kiện) hàng tỷ điểm: bạn thiết kế thế nào?●●●○ Khó
  8. 48Sinh ID duy nhất toàn cục trong hệ thống phân tán: auto-increment, UUIDv4, UUIDv7/ULID, Snowflake — so sánh.●●●○ Khó
  9. 49SaaS có 50.000 tenant, vài tenant chiếm 40% tải. Bạn thiết kế cô lập dữ liệu và tải (noisy neighbor) ở quy mô này thế nào?●●●● Cực khó
  10. 50Sản phẩm cần tìm kiếm ngữ nghĩa (semantic search) trên hàng triệu đoạn văn bản cho tính năng AI. Dùng pgvector hay vector database riêng? Index HNSW và IVFFlat khác nhau thế nào?●●●○ Khó
Mẹo: tự trả lời thành tiếng trước, rồi mới mở đáp án.
Câu 41●●●● Cực khó
So sánh sharding theo range, hash và directory (lookup). Bạn chọn shard key thế nào?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Range (theo khoảng giá trị, ví dụ thời gian/id): truy vấn khoảng hiệu quả, nhưng dễ dồn ghi vào shard 'mới nhất' (hotspot). Hash (hash(key) mod N hoặc consistent hashing): phân bố đều, nhưng truy vấn khoảng phải hỏi mọi shard. Directory: bảng tra cứu key → shard, linh hoạt nhất (di chuyển từng tenant), nhưng thêm một thành phần phải luôn sẵn sàng và nhất quán. Shard key tốt: có trong hầu hết truy vấn quan trọng, phân bố đều tải ghi lẫn đọc, có lực lượng (cardinality) cao, và giữ dữ liệu cần transaction/join với nhau trên cùng shard.

📖 Giải thích lý thuyết
  • SaaS B2B: tenant_id thường là shard key tự nhiên — hầu hết truy vấn nằm trong một tenant, transaction không chéo shard. Vấn đề: tenant khổng lồ.
  • Mạng xã hội: user_id cho dữ liệu của người dùng; nhưng quan hệ follow, feed và tin nhắn giữa hai người chạm nhiều shard.
  • Khoá composite (tenant_id + hash(entity_id)) chia nhỏ tenant lớn nhưng mất locality.
  • Đổi shard key về sau gần như là viết lại toàn bộ tầng dữ liệu.
🛠️ Áp dụng trong dự án thực tế
  • Trước khi shard: vertical scaling, read replica, cache, partition, tách dữ liệu lạnh, tách DB theo domain — đã cạn chưa? Máy Postgres lớn hiện nay chịu được rất nhiều TB và hàng chục nghìn TPS.
  • Liệt kê 20 truy vấn quan trọng nhất và kiểm tra mỗi truy vấn có chứa shard key không.
  • Công cụ: Citus (Postgres), Vitess (MySQL), hoặc Distributed SQL.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Shard theo created_at cho bảng orders?" → Mọi ghi mới dồn vào một shard (hotspot), và truy vấn "đơn của khách X" phải hỏi mọi shard. Thường tệ cho OLTP; chỉ hợp cho dữ liệu lưu trữ theo thời gian.

🚩 Sai lầm khiến ứng viên mất điểm

Chọn shard key mà không xét mẫu truy vấn; shard quá sớm.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 42●●●● Cực khó
Hot partition / hot key là gì (ví dụ tài khoản người nổi tiếng, flash sale)? Xử lý thế nào?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Một khoá nhận lượng truy cập vượt xa phần còn lại, nên shard/partition/node chứa nó quá tải trong khi các node khác rảnh — phân bố đều theo số khoá không có nghĩa là đều theo tải. Xử lý: cache mạnh cho đọc (kể cả cache trong tiến trình cho key cực nóng), tách khoá (key salting: chia counter thành N khoá con rồi cộng lại), xử lý đặc biệt cho thực thể lớn (shard riêng, đường xử lý riêng), gom ghi (batch/buffer), và hàng đợi để làm phẳng tải.

📖 Giải thích lý thuyết
// Bộ đếm lượt thích của một bài viral: tách thành 32 khoá con để phân tán ghi
const shard = Math.floor(Math.random() * 32);
await redis.incr(`likes:${postId}:${shard}`);
// Đọc: cộng 32 khoá (cache kết quả vài giây)
const total = (await redis.mget(...range(32).map((i) => `likes:${postId}:${i}`))).reduce((a, b) => a + Number(b ?? 0), 0);
  • DynamoDB/Cassandra: partition nóng bị throttle dù tổng capacity dư — thiết kế khoá phân tán ghi (write sharding).
  • Fan-out cho người nổi tiếng: không đẩy bài của họ vào feed hàng chục triệu follower; feed đọc kết hợp (câu 99).
🛠️ Áp dụng trong dự án thực tế
  • Phát hiện: metric theo khoá (top-k key), Redis --hotkeys, thống kê truy vấn theo tenant.
  • Thiết kế từ đầu cho "khách hàng lớn nhất x100": nhiều SaaS gặp sự cố khi ký được khách enterprise đầu tiên.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Cache key nóng hết hạn đúng lúc cao điểm?" → Cache stampede trên hot key: single-flight, làm mới chủ động trước hạn, stale-while-revalidate, cache tại edge.

🚩 Sai lầm khiến ứng viên mất điểm

Nghĩ hash sharding giải quyết mọi phân bố tải.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 43●●●● Cực khó
Bạn cần tăng từ 4 lên 16 shard khi hệ thống đang chạy. Resharding online thực hiện thế nào? Consistent hashing giúp gì?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Với hash(key) mod N, đổi N làm gần như mọi khoá đổi shard. Consistent hashing (vòng băm + virtual node) chỉ di chuyển ~1/N dữ liệu khi thêm node. Cách thực tế phổ biến hơn: chia trước nhiều shard logic (ví dụ 1024 virtual shard) ánh xạ vào ít máy vật lý; tăng máy = di chuyển nguyên virtual shard. Quy trình di chuyển online: sao chép dữ liệu nền → đồng bộ thay đổi liên tục (CDC/logical replication) → kiểm tra → chặn ghi rất ngắn cho phần đó → chuyển định tuyến → dọn dữ liệu cũ.

📖 Giải thích lý thuyết
  • Consistent hashing: node và key cùng được băm lên vòng; key thuộc node đầu tiên theo chiều kim đồng hồ. Virtual node (mỗi máy nhiều điểm trên vòng) giúp phân bố đều và chia tải khi một node rời đi. Dùng trong Cassandra, DynamoDB, nhiều cache phân tán.
  • Rendezvous (HRW) hashing là lựa chọn thay thế đơn giản.
  • Định tuyến: thư viện client, proxy (Vitess vtgate, Citus coordinator), hoặc directory service.
🛠️ Áp dụng trong dự án thực tế
  • Thiết kế số shard logic dư rất nhiều ngay từ đầu (chi phí thấp, tránh resharding thật).
  • Di chuyển theo tenant với directory: có thể đưa tenant lớn sang phần cứng riêng.
  • Kiểm tra tính đúng sau di chuyển: so sánh số dòng/checksum theo phạm vi.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Trong lúc di chuyển, ghi vào dữ liệu đang chuyển thì sao?" → CDC áp thay đổi lên đích liên tục; ở bước cuối khoá ghi ngắn (hoặc đưa ghi vào hàng đợi) cho phạm vi đó, chờ độ trễ về 0, đổi định tuyến, mở khoá. Ứng dụng phải chịu được lỗi tạm thời và retry.

🚩 Sai lầm khiến ứng viên mất điểm

Dùng mod N cố định không có kế hoạch mở rộng.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 44●●●● Cực khó
Sau khi shard theo tenant, làm sao thực hiện truy vấn chéo shard (báo cáo toàn hệ thống) và ràng buộc unique toàn cục (email duy nhất)?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Truy vấn chéo shard: scatter-gather (gửi tới mọi shard, gộp kết quả — chậm theo shard chậm nhất), hoặc tốt hơn là đưa dữ liệu sang kho phân tích qua CDC cho báo cáo toàn cục. Unique toàn cục: một bảng/dịch vụ tra cứu toàn cục (email → user_id, shard) với ràng buộc unique riêng, cập nhật trước hoặc trong cùng luồng tạo user; hoặc chọn shard theo chính khoá đó (shard bảng email theo hash(email)). Đây là dạng 'global secondary index' — luôn có đánh đổi nhất quán.

📖 Giải thích lý thuyết
  • Tạo user: (1) giữ email trong bảng toàn cục (unique) → (2) tạo user ở shard → (3) xác nhận; lỗi giữa chừng cần dọn dẹp (saga nhỏ) hoặc job đối soát.
  • Bảng tham chiếu nhỏ (quốc gia, gói dịch vụ): reference table sao chép tới mọi shard (Citus hỗ trợ) để join cục bộ.
  • Join hai bảng lớn phân tán theo khoá khác nhau → phải đồng vị (co-locate) theo cùng shard key, nếu không là repartition tốn kém.
  • DynamoDB GSI, Vitess lookup vindex là các cài đặt của global index, cập nhật bất đồng bộ hoặc có chi phí ghi thêm.
🛠️ Áp dụng trong dự án thực tế
  • Thiết kế API sao cho đường đi nóng luôn có shard key (URL chứa tenant/org).
  • Admin/hỗ trợ khách hàng cần tìm theo email/số điện thoại → dùng search index toàn cục, không scatter-gather trên OLTP.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Người dùng thuộc nhiều tổ chức (nhiều shard)?" → Tách định danh người dùng (global) khỏi dữ liệu thành viên theo tổ chức (sharded); phiên đăng nhập chứa danh sách tổ chức, mỗi request làm việc trong một tổ chức.

🚩 Sai lầm khiến ứng viên mất điểm

Không nhận ra unique constraint không còn hoạt động giữa các shard.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 45●●●● Cực khó
Distributed SQL (Spanner, CockroachDB, YugabyteDB, TiDB) giải quyết vấn đề gì? Khi nào nên và không nên dùng?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Chúng cho giao diện SQL + transaction ACID (thường serializable) trên dữ liệu tự động chia và sao chép qua nhiều node/region, mỗi phần được nhân bản bằng đồng thuận (Raft/Paxos) → scale ngang ghi và chịu mất node/zone/region mà không cần tự shard. Đánh đổi: độ trễ mỗi transaction cao hơn Postgres một node (đồng thuận qua mạng, đặc biệt liên region), chi phí vận hành/bản quyền, khác biệt tương thích SQL và hiệu năng với một số mẫu truy vấn, cần thiết kế khoá tránh hotspot.

📖 Giải thích lý thuyết
  • Spanner dùng TrueTime (đồng hồ có biên sai số từ GPS + đồng hồ nguyên tử) và 'commit wait' để có external consistency; CockroachDB dùng Hybrid Logical Clock với giới hạn lệch đồng hồ tối đa.
  • Dữ liệu chia thành range (~vài trăm MB), mỗi range một nhóm Raft; transaction chạm nhiều range dùng 2PC giữa các leader.
  • Có thể ghim dữ liệu theo region (geo-partitioning) để đáp ứng data residency và độ trễ địa phương.
🛠️ Áp dụng trong dự án thực tế
  • Nên dùng: tải ghi vượt một node lớn, yêu cầu sẵn sàng multi-region với nhất quán mạnh, không muốn tự sharding.
  • Không nên: phần lớn ứng dụng vừa và nhỏ — một Postgres tốt + replica rẻ hơn, nhanh hơn từng truy vấn, hệ sinh thái lớn hơn.
  • Kiểm thử bằng workload thật: transaction tranh chấp cao bị retry nhiều.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Khoá chính tự tăng trên CockroachDB có vấn đề gì?" → Mọi INSERT mới dồn vào range cuối (hotspot). Dùng UUID hoặc hash-sharded index.

🚩 Sai lầm khiến ứng viên mất điểm

Coi Distributed SQL là 'Postgres nhưng scale vô hạn' miễn phí.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 46●●●● Cực khó
Thiết kế dữ liệu cho DynamoDB theo 'single-table design' khác gì thiết kế quan hệ?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Với DynamoDB bạn thiết kế từ mẫu truy cập, không từ thực thể: liệt kê mọi truy vấn trước, rồi chọn partition key (PK) và sort key (SK) sao cho mỗi truy vấn là một GetItem hoặc Query trên một partition. Nhiều loại thực thể cùng sống trong một bảng với khoá có tiền tố (PK=ORG#1, SK=PROJECT#9), dữ liệu liên quan được đặt cạnh nhau để lấy trong một lần đọc; truy vấn khác dùng GSI. Không có JOIN, không truy vấn ad-hoc hiệu quả.

📖 Giải thích lý thuyết
PKSKThuộc tínhPhục vụ truy vấn
ORG#acmeMETAname, planLấy thông tin org
ORG#acmePROJECT#p1name, statusDanh sách project của org (Query PK, SK begins_with PROJECT#)
PROJECT#p1TASK#2026-10-22#t9title, assignee, GSI1PK=USER#u5Task theo project, sắp theo ngày
GSI1: GSI1PK=USER#u5, GSI1SK=due_date → "task được giao cho tôi"
  • Giới hạn item 400KB; transaction tối đa 100 item; GSI cập nhật bất đồng bộ (eventually consistent).
  • Thêm mẫu truy cập mới về sau có thể cần GSI mới hoặc backfill thuộc tính.
🛠️ Áp dụng trong dự án thực tế
  • Phù hợp: tải rất lớn, mẫu truy cập ổn định, cần độ trễ ms ổn định ở mọi quy mô, serverless (Lambda).
  • Không phù hợp: sản phẩm giai đoạn đầu khi yêu cầu còn thay đổi liên tục, cần báo cáo linh hoạt (dùng export sang S3/Athena).
  • Nhiều team kết hợp: single-table cho đường nóng, nhiều bảng cho phần ít truy cập để dễ hiểu.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "PM muốn thêm bộ lọc 'task quá hạn theo nhãn trong mọi project'." → Không có sẵn trong mô hình khoá: cần GSI mới (với thuộc tính ghép) hoặc đẩy sang search index. Đây là chi phí của việc thiết kế theo truy vấn.

🚩 Sai lầm khiến ứng viên mất điểm

Mô hình hoá DynamoDB như bảng quan hệ rồi dùng Scan.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 47●●●○ Khó
Lưu trữ và truy vấn dữ liệu time-series (metric, IoT, sự kiện) hàng tỷ điểm: bạn thiết kế thế nào?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Đặc điểm: gần như chỉ ghi nối tiếp, truy vấn theo khoảng thời gian gần đây, tổng hợp theo cửa sổ, dữ liệu cũ ít giá trị. Thiết kế: partition theo thời gian (chunk), nén dạng cột cho dữ liệu cũ, downsampling/rollup (giữ dữ liệu thô 7 ngày, phút 90 ngày, giờ 2 năm), retention bằng drop partition, ghi theo lô. Công cụ: TimescaleDB (Postgres extension), ClickHouse, InfluxDB, Prometheus/Mimir/VictoriaMetrics cho metric hạ tầng.

📖 Giải thích lý thuyết
-- TimescaleDB
SELECT create_hypertable('readings', 'time', chunk_time_interval => interval '1 day');
ALTER TABLE readings SET (timescaledb.compress, timescaledb.compress_segmentby = 'device_id');
SELECT add_compression_policy('readings', interval '7 days');
SELECT add_retention_policy('readings', interval '90 days');
CREATE MATERIALIZED VIEW readings_hourly WITH (timescaledb.continuous) AS
  SELECT device_id, time_bucket('1 hour', time) AS bucket, avg(value), max(value)
  FROM readings GROUP BY device_id, bucket;
  • Cardinality (số chuỗi thời gian khác nhau = tổ hợp nhãn) là kẻ thù chính của TSDB — không đặt userId/requestId làm nhãn metric.
  • Dữ liệu đến trễ/sai thứ tự (thiết bị mất mạng rồi gửi bù) phải được xử lý khi tính rollup.
🛠️ Áp dụng trong dự án thực tế
  • Ghi theo lô (COPY / multi-row insert) qua hàng đợi để chịu được burst.
  • Dashboard luôn đọc từ bảng rollup tương ứng với khoảng thời gian xem.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Chi phí lưu trữ tăng 30%/tháng." → Áp dụng nén, rollup và retention theo tầng; chuyển dữ liệu thô cũ sang object storage dạng Parquet để truy vấn khi cần.

🚩 Sai lầm khiến ứng viên mất điểm

Lưu metric dạng một dòng mỗi điểm trong bảng OLTP chính không partition, không retention.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 48●●●○ Khó
Sinh ID duy nhất toàn cục trong hệ thống phân tán: auto-increment, UUIDv4, UUIDv7/ULID, Snowflake — so sánh.
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Auto-increment: nhỏ, có thứ tự, nhưng cần một nơi cấp phát (khó khi nhiều shard/region) và lộ thông tin (số lượng đơn). UUIDv4: sinh ở bất kỳ đâu không phối hợp, không đoán được, nhưng ngẫu nhiên → index kém locality, 16 byte. UUIDv7/ULID: tiền tố thời gian + ngẫu nhiên → gần như có thứ tự theo thời gian, tốt cho index, sinh phân tán. Snowflake (64-bit: thời gian + machine id + sequence): nhỏ, có thứ tự, rất nhanh, nhưng cần cấp phát machine id duy nhất và phụ thuộc đồng hồ.

📖 Giải thích lý thuyết
Kích thướcThứ tựPhối hợpLộ thông tin
Auto-increment8 byteCóCần trung tâmSố lượng, tốc độ tăng
UUIDv416 byteKhôngKhôngKhông
UUIDv7 / ULID16 byteTheo thời gian (ms)KhôngThời điểm tạo
Snowflake8 byteTheo thời gianCấp machine idThời điểm, máy
  • Đồng hồ chạy lùi (NTP chỉnh) có thể sinh ID trùng/không đơn điệu với Snowflake — phải chờ hoặc báo lỗi khi phát hiện.
  • "Có thứ tự theo thời gian" giữa nhiều máy chỉ là gần đúng do lệch đồng hồ — không dùng ID để suy ra thứ tự sự kiện chính xác.
🛠️ Áp dụng trong dự án thực tế
  • Mặc định hợp lý cho hệ thống mới: UUIDv7 (Postgres 18 có hàm uuidv7(); trước đó sinh ở ứng dụng).
  • ID công khai trên URL không nên là số tuần tự (dò được tài nguyên, đoán quy mô kinh doanh).
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Client mobile offline tạo bản ghi rồi đồng bộ sau?" → Client tự sinh UUID (v4/v7) để không cần hỏi server, và dùng luôn làm khoá idempotency khi đồng bộ.

🚩 Sai lầm khiến ứng viên mất điểm

Nghĩ UUID 'chậm' trong mọi trường hợp, hoặc dùng ID để sắp xếp sự kiện chính xác giữa các máy.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 49●●●● Cực khó
SaaS có 50.000 tenant, vài tenant chiếm 40% tải. Bạn thiết kế cô lập dữ liệu và tải (noisy neighbor) ở quy mô này thế nào?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

Kết hợp nhiều mô hình theo phân khúc: đa số tenant nhỏ dùng chung bảng (org_id + RLS) trên các shard/cell chia theo tenant; tenant lớn hoặc enterprise được đặt vào shard/cell riêng hoặc DB riêng (cô lập tải, data residency, bảo trì riêng). Directory ánh xạ tenant → vị trí để có thể di chuyển tenant khi họ lớn lên. Cô lập tải bằng rate limit/quota theo tenant, hàng đợi công bằng cho job nền, giới hạn tài nguyên truy vấn.

📖 Giải thích lý thuyết
  • Citus: phân tán bảng theo tenant_id, có thể "cô lập tenant" (isolate tenant to new shard) và di chuyển shard giữa node trực tuyến.
  • Cell-based architecture: mỗi cell là một bản sao đầy đủ của stack (API + DB + cache) phục vụ một nhóm tenant → sự cố/deploy lỗi chỉ ảnh hưởng một cell (giới hạn bán kính ảnh hưởng).
  • Mỗi tenant một DB: cô lập tối đa nhưng migration, connection, chi phí nhân theo số tenant — hợp khi số tenant ít và mỗi tenant lớn.
🛠️ Áp dụng trong dự án thực tế
  • Đo chi phí theo tenant (CPU DB, lưu trữ, request) để định giá và phát hiện tenant bất thường.
  • Job nền: hàng đợi theo tenant hoặc giới hạn concurrency mỗi tenant để import 10 triệu dòng của một khách không làm chậm khách khác.
  • Statement timeout và giới hạn kết quả theo gói.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Một tenant lớn yêu cầu dữ liệu lưu ở EU và có khoá mã hoá riêng." → Cell/DB riêng tại region EU, mã hoá với khoá do khách quản lý (BYOK qua KMS), directory định tuyến request của tenant đó tới cell EU.

🚩 Sai lầm khiến ứng viên mất điểm

Một mô hình cho mọi tenant; không có cách di chuyển tenant.

  • Tôi trả lời được câu này mà không cần xem đáp án
Câu 50●●●○ Khó
Sản phẩm cần tìm kiếm ngữ nghĩa (semantic search) trên hàng triệu đoạn văn bản cho tính năng AI. Dùng pgvector hay vector database riêng? Index HNSW và IVFFlat khác nhau thế nào?
Xem câu trả lời & giải thích
💬 Trả lời ngắn (nói trong 30-60 giây)

pgvector là lựa chọn mặc định tốt khi dữ liệu đã ở Postgres và quy mô tới vài chục triệu vector: cùng transaction, lọc theo tenant/quyền bằng SQL, không thêm hệ thống. Vector DB riêng (Qdrant, Weaviate, Milvus, Pinecone, hoặc OpenSearch kNN) hợp khi hàng trăm triệu–tỷ vector, cần lọc phức tạp tốc độ cao, scale độc lập. Index ANN: HNSW (đồ thị nhiều tầng) cho recall/tốc độ truy vấn tốt, tốn RAM, build chậm; IVFFlat (chia cụm) build nhanh, ít bộ nhớ hơn, recall phụ thuộc số cụm dò (probes) và cần dữ liệu để huấn luyện cụm.

📖 Giải thích lý thuyết
CREATE EXTENSION vector;
CREATE TABLE chunks (id bigserial PRIMARY KEY, org_id uuid NOT NULL, doc_id uuid, content text, embedding vector(1536));
CREATE INDEX ON chunks USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

SET hnsw.ef_search = 100;           -- đánh đổi recall/tốc độ lúc truy vấn
SELECT id, content FROM chunks
WHERE org_id = $1                   -- lọc tenant BẮT BUỘC
ORDER BY embedding <=> $2 LIMIT 10;
  • Lọc + ANN: index ANN tìm k láng giềng gần nhất rồi mới lọc → có thể trả ít hơn k kết quả khi bộ lọc chặt. pgvector 0.8+ có iterative index scan; các vector DB có lọc trong lúc duyệt đồ thị.
  • Kích thước: 1 triệu vector × 1536 chiều × 4 byte ≈ 6GB chỉ cho vector — cân nhắc giảm chiều, lượng tử hoá (halfvec, binary).
🛠️ Áp dụng trong dự án thực tế
  • Đo chất lượng (recall@k so với tìm kiếm chính xác, và đánh giá câu trả lời cuối) khi đổi tham số index hoặc model embedding.
  • Đổi model embedding = phải tạo lại toàn bộ vector → lưu phiên bản model cùng vector.
  • Hybrid search (từ khoá + vector) thường tốt hơn vector thuần cho tên riêng, mã sản phẩm.
🎭 Tình huống & câu hỏi nối tiếp

Câu hỏi nối tiếp: "Kết quả tìm kiếm của tenant A chứa tài liệu tenant B." → Thiếu điều kiện lọc tenant (hoặc lọc sau khi đã cắt top-k ở hệ thống vector riêng). Lọc quyền phải là một phần của truy vấn, có test tự động — rò dữ liệu qua tính năng AI là sự cố bảo mật.

🚩 Sai lầm khiến ứng viên mất điểm

Thêm vector DB riêng cho 50.000 đoạn văn; không lọc tenant trong truy vấn vector.

  • Tôi trả lời được câu này mà không cần xem đáp án