Fullstack PHP & Laravel
Trang chủ / Module 7
🧰 Module 7 / 19 · 4 ngày 📅 Tuần 5 ●●●○ Khó

Redis, cache, queue với Horizon, scheduler & idempotency

Làm ứng dụng nhanh và bền: cache đúng và vô hiệu hoá đúng, queue job với retry/backoff/unique/batch, giám sát bằng Horizon, scheduler, rate limiting, khoá nguyên tử, idempotency key và outbox.

RedisCacheQueueHorizonSchedulerIdempotency
📌 Vì sao module này quan trọng

Mọi việc chậm trong request (gửi mail, gọi API ngoài, xử lý ảnh, xuất Excel) làm PHP-FPM cạn worker và người dùng chờ. Queue là công cụ quan trọng nhất của developer Laravel ở quy mô thật — và cũng là nơi sinh bug khó nhất: job chạy hai lần, job chạy trước khi dữ liệu commit, job im lặng thất bại. Câu hỏi về cache invalidation và idempotency xuất hiện ở hầu hết phỏng vấn senior.

🎯 Mục tiêu học tập

  • Áp dụng cache-aside với Cache::remember, tag, khoá; chống cache stampede
  • Viết job idempotent với retry, backoff, timeout, unique, rate limit
  • Chạy và giám sát worker bằng Horizon; batch và chain job
  • Lên lịch tác vụ với scheduler, tránh chạy trùng trên nhiều server
  • Cài idempotency key cho API và outbox cho sự kiện quan trọng

Cache đúng cách

$project = Cache::remember("project:v1:{$id}", now()->addMinutes(10), fn () =>
    Project::with('owner:id,name')->findOrFail($id)->toArray()       // cache dữ liệu đơn giản, không cache object nặng
);

// Vô hiệu hoá sau khi DB commit
DB::afterCommit(fn () => Cache::forget("project:v1:{$id}"));

// Chống stampede: chỉ một tiến trình tính lại
Cache::flexible('dashboard:stats', [60, 300], fn () => Stats::compute());  // stale-while-revalidate (Laravel 11+)
Cache::lock('report:monthly', 120)->block(5, fn () => ...);
  • Cache key phải chứa tenant/user nếu dữ liệu phụ thuộc quyền — rò dữ liệu giữa khách hàng qua cache là sự cố nghiêm trọng.
  • Cache tag chỉ hỗ trợ một số driver (Redis, Memcached); dùng version trong key để vô hiệu hoá hàng loạt.
  • Đừng dùng chung một instance Redis có eviction cho cả cache và queue — job có thể bị xoá.

Queue job đúng cách

final class SendInvoiceEmail implements ShouldQueue, ShouldBeUnique
{
    use Queueable;

    public int $tries = 5;
    public int $timeout = 60;
    public array $backoff = [10, 60, 300];             // giây giữa các lần retry
    public bool $afterCommit = true;                    // chỉ chạy khi transaction tạo hoá đơn đã commit

    public function __construct(public int $invoiceId) {}   // truyền ID, không truyền object lớn

    public function uniqueId(): string { return (string) $this->invoiceId; }

    public function middleware(): array
    {
        return [new RateLimited('mail-provider'), (new WithoutOverlapping($this->invoiceId))->expireAfter(120)];
    }

    public function handle(Mailer $mailer): void
    {
        $invoice = Invoice::findOrFail($this->invoiceId);
        if ($invoice->emailed_at) return;                // idempotent: chạy lại không gửi trùng
        $mailer->send(new InvoiceMail($invoice));
        $invoice->update(['emailed_at' => now()]);
    }

    public function failed(Throwable $e): void { /* báo Sentry, đánh dấu cần xử lý tay */ }
}
  • Job có thể chạy nhiều hơn một lần (retry, worker bị kill) → luôn idempotent.
  • Worker là long-running process: restart sau mỗi deploy (php artisan queue:restart / Horizon terminate), giới hạn --max-jobs, --max-time.
  • Batch (Bus::batch) cho xử lý hàng loạt có tiến độ; chain cho các bước tuần tự.

Horizon và scheduler

// config/horizon.php — tách queue theo mức ưu tiên, scale tự động
'production' => [
    'critical' => ['connection' => 'redis', 'queue' => ['payments', 'auth'], 'maxProcesses' => 10],
    'default'  => ['connection' => 'redis', 'queue' => ['default', 'mail'], 'balance' => 'auto', 'maxProcesses' => 20],
    'heavy'    => ['connection' => 'redis', 'queue' => ['exports', 'media'], 'maxProcesses' => 4, 'timeout' => 900],
],

// routes/console.php — scheduler
Schedule::job(new SendDeadlineReminders)->hourly()->onOneServer()->withoutOverlapping();
Schedule::command('reports:monthly')->monthlyOn(1, '02:00')->timezone('Asia/Ho_Chi_Minh')->onOneServer();
  • Horizon: dashboard job, thông lượng, thời gian chờ, job lỗi, cảnh báo khi hàng đợi dài.
  • onOneServer() cần cache driver dùng chung (Redis) — nếu không, 3 server chạy cron 3 lần.
  • Không dùng Redis: SQS, database queue (đủ cho tải nhỏ), RabbitMQ qua package.

Rate limiting, idempotency key, outbox

// Rate limit theo user và theo hành động nhạy cảm
RateLimiter::for('api', fn (Request $r) => Limit::perMinute(120)->by($r->user()?->id ?: $r->ip()));
RateLimiter::for('login', fn (Request $r) => [Limit::perMinute(5)->by($r->input('email') . $r->ip())]);

// Idempotency key cho POST /payments (middleware)
$key = 'idem:' . $request->user()->id . ':' . $request->header('Idempotency-Key');
if (! Cache::add($key, 'processing', now()->addDay())) {          // add = SET NX, nguyên tử
    $prev = Cache::get($key);
    return $prev === 'processing' ? response()->json(['code' => 'IN_PROGRESS'], 409) : response()->json($prev, 200);
}

Outbox: ghi bản ghi sự kiện vào bảng outbox trong cùng transaction với thay đổi dữ liệu; một job định kỳ đọc và phát đi (queue, webhook, Kafka). Không mất sự kiện khi tiến trình chết giữa chừng — phía nhận vẫn phải idempotent.

🏋️ Bài tập thực hành

Làm ứng dụng nhanh và bền

(1) Cache trang chi tiết project và dashboard thống kê (Cache::flexible), đo p95 trước/sau bằng k6. (2) Gửi email mời thành viên và xuất Excel 100.000 task bằng queue (Excel chạy batch có tiến độ, tải về qua link có hạn). (3) Horizon với 3 nhóm queue; giả lập nhà cung cấp email lỗi 50%, chứng minh không mất và không gửi trùng email nào. (4) Scheduler nhắc deadline với onOneServer. (5) Idempotency key cho tạo thanh toán — 20 request đồng thời cùng key chỉ tạo 1 bản ghi.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Cache có vô hiệu hoá đúng và key theo tenant
  • Mọi job idempotent, có retry/backoff/timeout, chạy afterCommit
  • Horizon giám sát queue, worker được restart khi deploy
  • API thanh toán có idempotency key