CRO và A/B testing: giả thuyết, cỡ mẫu, ý nghĩa thống kê, chia traffic ở edge
Tối ưu landing và cấu hình quảng cáo bằng thí nghiệm thay vì cảm tính: viết giả thuyết, chọn chỉ số, tính cỡ mẫu, đọc kết quả, tránh “nhìn trộm” và lệch tỷ lệ chia (SRM). Code chia traffic ổn định bằng cookie ở Cloudflare Worker và công cụ tính ý nghĩa thống kê.
Mọi so sánh “thực chiến” trong khoá đều quy về một câu hỏi: thay đổi này có thật sự tốt hơn không? Thêm popunder, đổi headline, thêm mid-roll… đều phải đo bằng A/B test với chỉ số đúng (RPM + giữ chân, không chỉ CTR). Đa số “thắng” trong thử nghiệm làm vội là nhiễu ngẫu nhiên.
🎯 Mục tiêu học tập
- Viết giả thuyết theo mẫu Nếu – Thì – Vì
- Chọn chỉ số chính và chỉ số bảo vệ (guardrail)
- Tính cỡ mẫu theo tỷ lệ cơ sở và mức tăng muốn phát hiện
- Đọc kết quả bằng z-test, nhận diện SRM và lỗi nhìn trộm
- Chia traffic ổn định ở edge bằng cookie
🟢 Giả thuyết và chỉ số
| Thử nghiệm | Chỉ số chính | Chỉ số bảo vệ (không được xấu đi) |
|---|---|---|
| Headline landing VIP | Tỷ lệ thanh toán / người xem landing | Tỷ lệ hoàn tiền 7 ngày |
| Thêm mid-roll | Doanh thu quảng cáo / phiên | Thời gian xem, tỷ lệ quay lại 7 ngày |
| Thêm popunder 1/24h | RPM tổng | Tỷ lệ quay lại 7/ 30 ngày, trang/ phiên |
| Soft prompt push | Tỷ lệ cho phép thông báo | Tỷ lệ thoát trang |
Với quảng cáo, chỉ số chính nên là doanh thu trên người dùng trong 30 ngày nếu được, vì nó gộp cả RPM và giữ chân. CTR quảng cáo hay RPM một phiên dễ thắng ngắn hạn mà thua dài hạn.
🟡 Cỡ mẫu: cần bao nhiêu người?
Với tỷ lệ chuyển đổi cơ sở 3,5%, muốn phát hiện mức tăng tương đối 15% (3,5% → 4,03%) ở mức ý nghĩa 5%, power 80%: cần khoảng 20.622 người mỗi nhánh. Muốn phát hiện mức tăng 5%: cần 177.292 người mỗi nhánh. Thay đổi nhỏ cần mẫu rất lớn; site nhỏ nên thử thay đổi lớn (bố cục, giá, offer) thay vì đổi màu nút.
// Cỡ mẫu mỗi nhánh cho kiểm định hai tỷ lệ (alpha 5% hai phía, power 80%)
function sampleSize(base, mdeRel, zA = 1.96, zB = 0.8416) {
const p1 = base, p2 = base * (1 + mdeRel), pb = (p1 + p2) / 2;
const n = (zA * Math.sqrt(2 * pb * (1 - pb)) + zB * Math.sqrt(p1 * (1 - p1) + p2 * (1 - p2))) ** 2 / (p2 - p1) ** 2;
return Math.ceil(n);
}
sampleSize(0.035, 0.15); // ≈ 20.622 người mỗi nhánh
🟡 Đọc kết quả
A (headline tính năng): 12.000 người, 420 thanh toán = 3,50%. B (headline lợi ích + giá): 12.100 người, 495 thanh toán = 4,09%. Mức tăng tương đối 16,9%, z = 2,40, p = 0,016. p < 0,05 → khác biệt có ý nghĩa thống kê, nhưng mẫu (≈12 nghìn/ nhánh) vẫn nhỏ hơn cỡ mẫu đã tính cho mức tăng 15% nên ước lượng mức tăng còn rộng; nên chạy đủ 2 chu kỳ tuần trước khi chốt.
| Lỗi | Mô tả | Cách tránh |
|---|---|---|
| Nhìn trộm (peeking) | Xem kết quả mỗi ngày, dừng ngay khi p < 0,05 | Cố định cỡ mẫu/ thời gian trước; hoặc dùng phương pháp tuần tự |
| SRM (lệch tỷ lệ chia) | Chia 50/50 mà thực tế 52/48 với mẫu lớn | Kiểm tra chi-square tỷ lệ chia; thường do bot, redirect, cache |
| Chạy quá ngắn | Dưới 1 tuần, lệch theo ngày trong tuần | Tối thiểu 1–2 chu kỳ tuần đầy đủ |
| Đổi nhiều thứ cùng lúc | Không biết yếu tố nào tạo khác biệt | Mỗi thử nghiệm một giả thuyết; muốn nhiều yếu tố thì thiết kế đa biến |
| Hiệu ứng mới lạ | Người dùng cũ phản ứng với cái mới, rồi quen | Phân tích riêng người dùng mới/ cũ |
🟠 Chia traffic ở edge
Chia ở edge (trước khi trang về trình duyệt) tránh nháy trang (flicker) của công cụ A/B phía client và giữ người dùng ở cùng nhánh bằng cookie:
// Cloudflare Worker: chia /vip thành 2 phiên bản, ổn định theo cookie
const EXP = 'vip_headline_v2', SPLIT = 0.5;
export default {
async fetch(req, env) {
const url = new URL(req.url);
if (url.pathname !== '/vip') return env.ASSETS.fetch(req);
const cookie = req.headers.get('Cookie') || '';
let arm = (cookie.match(new RegExp(EXP + '=(A|B)')) || [])[1];
const isNew = !arm;
if (!arm) arm = Math.random() < SPLIT ? 'A' : 'B';
url.pathname = arm === 'A' ? '/vip/a.html' : '/vip/b.html';
const res = await env.ASSETS.fetch(new Request(url, req));
const out = new Response(res.body, res);
out.headers.set('Cache-Control', 'private, no-store'); // không để CDN cache lẫn nhánh
if (isNew) out.headers.append('Set-Cookie', `${EXP}=${arm}; Path=/; Max-Age=2592000; SameSite=Lax; Secure`);
return out;
}
};
// Trong a.html/ b.html: gtag('event', 'exp_view', { exp: 'vip_headline_v2', arm: 'A' | 'B' })
💬 Câu hỏi tình huống (tự trả lời trước khi mở)
💬 Thử popunder 2 tuần: RPM +62%, quay lại 7 ngày −9%, p của chỉ số quay lại = 0,04. Quyết định?
💬 Thử nghiệm chia 50/50 nhưng nhánh B nhận 46% traffic sau 40.000 người. Làm gì?
⚠️ Sai lầm thường mắc
Vì sao nguy hiểm: Tỷ lệ dương tính giả tăng mạnh.
Cách làm đúng: Cố định cỡ mẫu trước.
Vì sao nguy hiểm: Thắng CTR có thể là click nhầm, thua dài hạn.
Cách làm đúng: Chỉ số chính: doanh thu/ người dùng; guardrail: giữ chân.
Vì sao nguy hiểm: Kết quả sai mà vẫn trông hợp lý.
Cách làm đúng: Kiểm tra tỷ lệ chia trước khi đọc chỉ số.
- Giả thuyết Nếu – Thì – Vì; chỉ số chính + guardrail.
- Thay đổi nhỏ cần mẫu rất lớn; site nhỏ thử thay đổi lớn.
- Không nhìn trộm; kiểm tra SRM; chạy đủ chu kỳ tuần.
- Chia ở edge bằng cookie, không cache lẫn nhánh.
🧩 Tự kiểm tra (bấm để xem đáp án)
1. Chỉ số bảo vệ (guardrail) dùng để?
A. Chọn người thắng
B. Đảm bảo thay đổi không làm xấu chỉ số quan trọng khác
C. Tính cỡ mẫu
D. Chia traffic
2. SRM là gì?
A. Mức tăng tối thiểu
B. Lệch tỷ lệ chia so với thiết kế
C. Một loại quảng cáo
D. Chỉ số SEO
3. Muốn phát hiện mức tăng nhỏ hơn thì cỡ mẫu?
A. Nhỏ hơn
B. Lớn hơn nhiều
C. Không đổi
D. Bằng 0
🏋️ Bài tập thực hành
Chọn một giả thuyết trên landing hoặc trang phim của bạn, viết theo mẫu Nếu – Thì – Vì, chọn chỉ số chính và 2 guardrail, tính cỡ mẫu và thời gian chạy theo traffic hiện tại, triển khai chia ở edge, đọc kết quả bằng công cụ.
💡 Gợi ý lời giải
📚 Tài nguyên tham khảo
- Evan Miller: Sample size calculatorCỡ mẫu và giải thích.Công cụ
- Evan Miller: How not to run an A/B testLỗi nhìn trộm.Bài viết
- Kohavi et al.: Trustworthy Online Controlled ExperimentsSách chuẩn về thử nghiệm.Sách
✅ Tự đánh giá hoàn thành
- Viết 1 giả thuyết đúng mẫu
- Tính cỡ mẫu
- Đọc kết quả bằng công cụ A/B
- Biết kiểm tra SRM
- Chia traffic ở edge