Quảng cáo & Landing page web phim 🏠
🏠 Trang chủ / Quảng cáo & Landing page web phim / Phần 2 · Landing page & chuyển đổi / Module 12
🧪 Module 12 / 17 · 2 ngày Nâng cao

CRO và A/B testing: giả thuyết, cỡ mẫu, ý nghĩa thống kê, chia traffic ở edge

Tối ưu landing và cấu hình quảng cáo bằng thí nghiệm thay vì cảm tính: viết giả thuyết, chọn chỉ số, tính cỡ mẫu, đọc kết quả, tránh “nhìn trộm” và lệch tỷ lệ chia (SRM). Code chia traffic ổn định bằng cookie ở Cloudflare Worker và công cụ tính ý nghĩa thống kê.

Giả thuyếtCỡ mẫup-valueSRMEdge split
📌 Vì sao phần này quan trọng

Mọi so sánh “thực chiến” trong khoá đều quy về một câu hỏi: thay đổi này có thật sự tốt hơn không? Thêm popunder, đổi headline, thêm mid-roll… đều phải đo bằng A/B test với chỉ số đúng (RPM + giữ chân, không chỉ CTR). Đa số “thắng” trong thử nghiệm làm vội là nhiễu ngẫu nhiên.

🎯 Mục tiêu học tập

  • Viết giả thuyết theo mẫu Nếu – Thì – Vì
  • Chọn chỉ số chính và chỉ số bảo vệ (guardrail)
  • Tính cỡ mẫu theo tỷ lệ cơ sở và mức tăng muốn phát hiện
  • Đọc kết quả bằng z-test, nhận diện SRM và lỗi nhìn trộm
  • Chia traffic ổn định ở edge bằng cookie

🟢 Giả thuyết và chỉ số

NẾU [thay đổi] THÌ [chỉ số chính] sẽ [tăng/giảm] VÌ [lý do dựa trên dữ liệu/ quan sát]
Thử nghiệmChỉ số chínhChỉ số bảo vệ (không được xấu đi)
Headline landing VIPTỷ lệ thanh toán / người xem landingTỷ lệ hoàn tiền 7 ngày
Thêm mid-rollDoanh thu quảng cáo / phiênThời gian xem, tỷ lệ quay lại 7 ngày
Thêm popunder 1/24hRPM tổngTỷ lệ quay lại 7/ 30 ngày, trang/ phiên
Soft prompt pushTỷ lệ cho phép thông báoTỷ lệ thoát trang
Chọn đúng thứ để tối ưu

Với quảng cáo, chỉ số chính nên là doanh thu trên người dùng trong 30 ngày nếu được, vì nó gộp cả RPM và giữ chân. CTR quảng cáo hay RPM một phiên dễ thắng ngắn hạn mà thua dài hạn.

🟡 Cỡ mẫu: cần bao nhiêu người?

Với tỷ lệ chuyển đổi cơ sở 3,5%, muốn phát hiện mức tăng tương đối 15% (3,5% → 4,03%) ở mức ý nghĩa 5%, power 80%: cần khoảng 20.622 người mỗi nhánh. Muốn phát hiện mức tăng 5%: cần 177.292 người mỗi nhánh. Thay đổi nhỏ cần mẫu rất lớn; site nhỏ nên thử thay đổi lớn (bố cục, giá, offer) thay vì đổi màu nút.

// Cỡ mẫu mỗi nhánh cho kiểm định hai tỷ lệ (alpha 5% hai phía, power 80%)
function sampleSize(base, mdeRel, zA = 1.96, zB = 0.8416) {
  const p1 = base, p2 = base * (1 + mdeRel), pb = (p1 + p2) / 2;
  const n = (zA * Math.sqrt(2 * pb * (1 - pb)) + zB * Math.sqrt(p1 * (1 - p1) + p2 * (1 - p2))) ** 2 / (p2 - p1) ** 2;
  return Math.ceil(n);
}
sampleSize(0.035, 0.15);   // ≈ 20.622 người mỗi nhánh

🟡 Đọc kết quả

🎬 Thử headline landing VIP (giả định)

A (headline tính năng): 12.000 người, 420 thanh toán = 3,50%. B (headline lợi ích + giá): 12.100 người, 495 thanh toán = 4,09%. Mức tăng tương đối 16,9%, z = 2,40, p = 0,016. p < 0,05 → khác biệt có ý nghĩa thống kê, nhưng mẫu (≈12 nghìn/ nhánh) vẫn nhỏ hơn cỡ mẫu đã tính cho mức tăng 15% nên ước lượng mức tăng còn rộng; nên chạy đủ 2 chu kỳ tuần trước khi chốt.

LỗiMô tảCách tránh
Nhìn trộm (peeking)Xem kết quả mỗi ngày, dừng ngay khi p < 0,05Cố định cỡ mẫu/ thời gian trước; hoặc dùng phương pháp tuần tự
SRM (lệch tỷ lệ chia)Chia 50/50 mà thực tế 52/48 với mẫu lớnKiểm tra chi-square tỷ lệ chia; thường do bot, redirect, cache
Chạy quá ngắnDưới 1 tuần, lệch theo ngày trong tuầnTối thiểu 1–2 chu kỳ tuần đầy đủ
Đổi nhiều thứ cùng lúcKhông biết yếu tố nào tạo khác biệtMỗi thử nghiệm một giả thuyết; muốn nhiều yếu tố thì thiết kế đa biến
Hiệu ứng mới lạNgười dùng cũ phản ứng với cái mới, rồi quenPhân tích riêng người dùng mới/ cũ

🟠 Chia traffic ở edge

Chia ở edge (trước khi trang về trình duyệt) tránh nháy trang (flicker) của công cụ A/B phía client và giữ người dùng ở cùng nhánh bằng cookie:

// Cloudflare Worker: chia /vip thành 2 phiên bản, ổn định theo cookie
const EXP = 'vip_headline_v2', SPLIT = 0.5;
export default {
  async fetch(req, env) {
    const url = new URL(req.url);
    if (url.pathname !== '/vip') return env.ASSETS.fetch(req);
    const cookie = req.headers.get('Cookie') || '';
    let arm = (cookie.match(new RegExp(EXP + '=(A|B)')) || [])[1];
    const isNew = !arm;
    if (!arm) arm = Math.random() < SPLIT ? 'A' : 'B';
    url.pathname = arm === 'A' ? '/vip/a.html' : '/vip/b.html';
    const res = await env.ASSETS.fetch(new Request(url, req));
    const out = new Response(res.body, res);
    out.headers.set('Cache-Control', 'private, no-store');         // không để CDN cache lẫn nhánh
    if (isNew) out.headers.append('Set-Cookie', `${EXP}=${arm}; Path=/; Max-Age=2592000; SameSite=Lax; Secure`);
    return out;
  }
};
// Trong a.html/ b.html: gtag('event', 'exp_view', { exp: 'vip_headline_v2', arm: 'A' | 'B' })

💬 Câu hỏi tình huống (tự trả lời trước khi mở)

💬 Thử popunder 2 tuần: RPM +62%, quay lại 7 ngày −9%, p của chỉ số quay lại = 0,04. Quyết định?
Ước lượng doanh thu/ người dùng 30–90 ngày cho cả hai nhánh (công cụ “Hung hăng hay bền vững”). Nếu vẫn dương, cân nhắc cap chặt hơn hoặc chỉ cho traffic không quay lại (người dùng mới từ nguồn trả phí). Kiểm tra thêm rủi ro không đo được trong thử nghiệm: Chrome chặn, mất đối tác thương hiệu.
💬 Thử nghiệm chia 50/50 nhưng nhánh B nhận 46% traffic sau 40.000 người. Làm gì?
Đây là SRM, kết quả không tin được. Tìm nguyên nhân: B chậm hơn nên bot/ người dùng thoát trước khi bắn sự kiện, redirect làm mất người, cache CDN phục vụ một nhánh. Sửa rồi chạy lại.

⚠️ Sai lầm thường mắc

❌ Dừng thử nghiệm ngay khi thấy thắng

Vì sao nguy hiểm: Tỷ lệ dương tính giả tăng mạnh.

Cách làm đúng: Cố định cỡ mẫu trước.

❌ Tối ưu CTR quảng cáo

Vì sao nguy hiểm: Thắng CTR có thể là click nhầm, thua dài hạn.

Cách làm đúng: Chỉ số chính: doanh thu/ người dùng; guardrail: giữ chân.

❌ Không kiểm tra SRM

Vì sao nguy hiểm: Kết quả sai mà vẫn trông hợp lý.

Cách làm đúng: Kiểm tra tỷ lệ chia trước khi đọc chỉ số.

📌 Cần nhớ
  • Giả thuyết Nếu – Thì – Vì; chỉ số chính + guardrail.
  • Thay đổi nhỏ cần mẫu rất lớn; site nhỏ thử thay đổi lớn.
  • Không nhìn trộm; kiểm tra SRM; chạy đủ chu kỳ tuần.
  • Chia ở edge bằng cookie, không cache lẫn nhánh.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. Chỉ số bảo vệ (guardrail) dùng để?
A. Chọn người thắng
B. Đảm bảo thay đổi không làm xấu chỉ số quan trọng khác
C. Tính cỡ mẫu
D. Chia traffic
Đáp án: B.
2. SRM là gì?
A. Mức tăng tối thiểu
B. Lệch tỷ lệ chia so với thiết kế
C. Một loại quảng cáo
D. Chỉ số SEO
Đáp án: B.
3. Muốn phát hiện mức tăng nhỏ hơn thì cỡ mẫu?
A. Nhỏ hơn
B. Lớn hơn nhiều
C. Không đổi
D. Bằng 0
Đáp án: B.

🏋️ Bài tập thực hành

Thử nghiệm đầu tiên

Chọn một giả thuyết trên landing hoặc trang phim của bạn, viết theo mẫu Nếu – Thì – Vì, chọn chỉ số chính và 2 guardrail, tính cỡ mẫu và thời gian chạy theo traffic hiện tại, triển khai chia ở edge, đọc kết quả bằng công cụ.

💡 Gợi ý lời giải
Thời gian = cỡ mẫu × 2 / số người dùng đủ điều kiện mỗi ngày, làm tròn lên số tuần nguyên.

📚 Tài nguyên tham khảo

✅ Tự đánh giá hoàn thành

  • Viết 1 giả thuyết đúng mẫu
  • Tính cỡ mẫu
  • Đọc kết quả bằng công cụ A/B
  • Biết kiểm tra SRM
  • Chia traffic ở edge
Lưu ý pháp lý: khoá học phân tích kỹ thuật để hiểu, đánh giá, audit và áp dụng phần hợp lệ. Phát phim không có bản quyền vi phạm Luật Sở hữu trí tuệ; quảng cáo cờ bạc/ cá cược trái phép, nội dung khiêu dâm, thuốc không phép bị cấm theo Luật Quảng cáo. Các kỹ thuật lừa click (nút giả, lớp phủ vô hình, chuyển hướng ép buộc) vi phạm chính sách mọi mạng quảng cáo lớn và có thể bị coi là gian lận. Số liệu eCPM/ RPM/ tỷ lệ chuyển đổi là giả định minh hoạ, thay đổi theo thị trường, mùa vụ và nguồn traffic. Chính sách của Google, Chrome, các mạng quảng cáo thay đổi thường xuyên: luôn đọc bản mới nhất. Khoá học độc lập, không liên kết với mạng quảng cáo nào.