Tujuan Pembelajaran

Mengerti konsep message queue dan pub/sub
Bisa mengimplementasikan async processing
Mengerti delivery guarantees dan retry mechanisms

Analogi

Diagram


      Message Queue:
Producer -> Queue -> Consumer

Pub/Sub:
Publisher -> Topic -> [Subscriber A, Subscriber B, Subscriber C]

Message queue memisahkan producer dan consumer — mereka tidak perlu tahu keberadaan satu sama lain

Penjelasan Konsep

Message queue adalah komponen arsitektur yang memungkinkan services berkomunikasi secara asynchronous.

Producer mengirim message ke queue, consumer memproses message dari queue.

Mereka tidak perlu online bersamaan — queue menyimpan message sampai consumer siap memproses.

Use Cases

Background jobs (email sending, image processing, report generation), decouple microservices, handle traffic spikes (buffer messages saat consumer sibuk), event-driven architecture.

Queue Patterns

Point-to-point (satu message diproses oleh satu consumer — task distribution),

Pub/Sub (satu message diproses oleh banyak subscriber — event broadcasting).

Delivery Guarantees

At-most-once (message bisa hilang, tidak perlu retry), At-least-once (message pasti terkirim, bisa duplikat — consumer harus idempotent), Exactly-once (paling sulit — perlu deduplication mechanism).

Retry dan Dead Letter Queue

Kalau processing gagal, retry dengan exponential backoff (tunggu 1s, 2s, 4s, 8s…).

Setelah max retries, kirim ke Dead Letter Queue (DLQ) untuk investigasi manual.

Message Brokers

Redis List/Streams (simple,

Cepat), RabbitMQ (feature-rich, AMQP), Apache Kafka (high throughput, persistent, streaming), AWS SQS (managed, serverless).

Inti yang Perlu Dipahami

Bagian ini berfokus pada mengerti konsep message queue dan pub/sub., bisa mengimplementasikan async processing., dan mengerti delivery guarantees dan retry mechanisms. Jangan terburu-buru menghafal istilahnya. Lebih penting untuk memahami peran setiap konsep dan kapan konsep itu muncul dalam pekerjaan web development.

Saat membaca Message Queue dan Asynchronous Processing, gunakan tujuan belajar sebagai penanda arah. Kalau kamu sudah bisa menjelaskan tujuan itu dengan kata-katamu sendiri, berarti fondasinya mulai terbentuk.

Cara Membayangkannya

Message queue memisahkan producer dan consumer — mereka tidak perlu tahu keberadaan satu sama lain. Analogi ini dipakai supaya konsep teknis tidak terasa melayang. Hubungkan setiap istilah dengan perannya: siapa yang meminta, siapa yang memproses, data apa yang berpindah, dan hasil apa yang diharapkan.

Kalau analoginya sudah terasa masuk akal, barulah lihat istilah teknisnya. Cara ini membuat materi lebih mudah dipahami daripada langsung menghafal definisi.

Saat Melihat Contoh Kode

Contoh kode pada chapter ini memakai bahasa typescript. Bacalah contoh kode sebagai ilustrasi alur, bukan sebagai bagian yang harus langsung dihafal. xadd untuk menambah message ke stream. xreadgroup untuk consumer group processing — multiple workers bisa memproses dari queue yang sama. xack untuk acknowledge message sudah berhasil diproses.

Perhatikan nama fungsi, urutan langkah, dan data yang berpindah. Biasanya tiga hal itu sudah cukup untuk memahami hubungan antara teori dan praktik.

Konteks dalam Perjalanan Belajar

Setiap konsep di platform ini dipilih karena dipakai di industri. Fokus pada pemahaman, bukan hafalan.

Kamu sudah di bagian lanjutan. Mulai pikirkan bagaimana konsep ini dipakai di dunia kerja — bukan hanya untuk belajar, tapi untuk membangun produk nyata.

Gunakan pertanyaan reflektif dan prompt AI di akhir chapter sebagai latihan aktif. Membaca saja tidak cukup — kamu perlu menjelaskan ulang dengan kata-katamu sendiri.

Contoh Kode

typescript

// Redis Pub/Sub untuk real-time notifications
import { Redis } from 'ioredis';
const pub = new Redis(process.env.REDIS_URL);
const sub = new Redis(process.env.REDIS_URL);

// Publisher
async function publishNotification(userId: string, message: string) {
  await pub.publish(`notifications:${userId}`, JSON.stringify({
    id: crypto.randomUUID(),
    message,
    timestamp: Date.now(),
  }));
}

// Subscriber (WebSocket server)
sub.subscribe('notifications:*');
sub.on('message', (channel, message) => {
  const data = JSON.parse(message);
  const userId = channel.split(':')[1];
  
  // Kirim ke WebSocket connections user tersebut
  const connections = wsConnections.get(userId);
  connections?.forEach(ws => ws.send(JSON.stringify(data)));
});

// Message Queue dengan Redis Streams (lebih robust dari List)
async function enqueueJob(queue: string, job: object) {
  await pub.xadd(queue, '*', 'data', JSON.stringify(job));
}

async function processJobs(queue: string, handler: (job: any) => Promise<void>) {
  while (true) {
    const messages = await sub.xreadgroup(
      'GROUP', 'workers', `worker-${process.pid}`,
      'BLOCK', 5000, 'STREAMS', queue, '>'
    );
    
    for (const [, entries] of messages || []) {
      for (const [id, [, data]] of entries) {
        try {
          await handler(JSON.parse(data));
          await sub.xack(queue, 'workers', id); // Acknowledge
        } catch (error) {
          // Retry logic atau kirim ke DLQ
          console.error(`Job ${id} failed:`, error);
        }
      }
    }
  }
}

Penjelasan Kode

xadd untuk menambah message ke stream. xreadgroup untuk consumer group processing — multiple workers bisa memproses dari queue yang sama. xack untuk acknowledge message sudah berhasil diproses.

Prompt AI

Implementasikan email queue dengan retry mechanism dan dead letter queue. Saat email gagal setelah 3 retries, simpan ke DLQ untuk review manual.

Pertanyaan Reflektif

Async processing membuat sistem lebih resilient terhadap failure. Tapi tambah complexity: monitoring queue depth, handling poison messages, dan ensuring eventual consistency.