Arsitektur RAG: Komponen dan Pipeline

Memahami arsitektur end-to-end Retrieval-Augmented Generation dan setiap komponennya

Tujuan Pembelajaran

Memahami arsitektur RAG: indexing pipeline, retrieval pipeline, generation pipeline
Mampu menjelaskan alur data dari dokumen mentah ke jawaban ter-grounding
Mengerti trade-off antara komponen RAG (indexing quality vs retrieval speed vs generation accuracy)

Analogi

Diagram


      RAG = Perpustakaan + Pustakawan + Penulis:

Indexing   = Pustakawan menyusun buku di rak (katalog)
Retrieval  = Pustakawan mencari buku yang relevan dengan pertanyaan
Generation = Penulis membaca buku yang ditemukan, lalu menulis jawaban

Tanpa RAG: Penulis harus menjawab dari ingatan saja (training data)
→ Kadang akurat, kadang ngawur

Dengan RAG: Penulis punya akses ke perpustakaan terupdate
→ Jawaban grounded ke sumber nyata, selalu up-to-date

RAG seperti perpustakaan: indexing (susun buku), retrieval (cari buku relevan), generation (tulis jawaban berdasarkan buku).

Penjelasan Konsep

RAG (Retrieval-Augmented Generation) adalah arsitektur AI di mana sistem MENCARI informasi relevan terlebih dahulu, baru MENGHASILKAN jawaban berdasarkan informasi tersebut. Ini adalah pola paling penting untuk production AI — digunakan oleh Perplexity, ChatGPT Browse, Copilot, dan mayoritas enterprise AI apps.

Tiga pipeline utama: (1) Indexing Pipeline — dipanggil saat dokumen ditambahkan/diupdate. Langkah: dokumen → chunking → embedding → vector store. (2) Retrieval Pipeline — dipanggil setiap user query. Langkah: query → embedding → vector search → rerank (opsional) → top-k results. (3) Generation Pipeline — langkah: gabungkan query + retrieved docs + system prompt → LLM → jawaban ter-grounding.

Kenapa RAG penting: (1) Kurangi hallucination (jawaban grounded ke dokumen). (2) Knowledge up-to-date (update dokumen tanpa re-train). (3) Attribution (bisa tunjukkan sumber). (4) Domain-specific (bisa jawab tentang data internal).

Trade-off kunci: chunking aggressiveness (chunk kecil = retrieval presisi, chunk besar = context lengkap). Embedding quality (model murah vs mahal). Retrieval speed (exact vs approximate search).

Inti yang Perlu Dipahami

Bagian ini berfokus pada memahami arsitektur RAG: indexing pipeline, retrieval pipeline, generation pipeline., mampu menjelaskan alur data dari dokumen mentah ke jawaban ter-grounding., dan mengerti trade-off antara komponen RAG (indexing quality vs retrieval speed vs generation accuracy). Jangan terburu-buru menghafal istilahnya. Lebih penting untuk memahami peran setiap konsep dan kapan konsep itu muncul dalam pekerjaan web development.

Saat membaca Arsitektur RAG, gunakan tujuan belajar sebagai penanda arah. Kalau kamu sudah bisa menjelaskan tujuan itu dengan kata-katamu sendiri, berarti fondasinya mulai terbentuk.

Cara Membayangkannya

RAG seperti perpustakaan: indexing (susun buku), retrieval (cari buku relevan), generation (tulis jawaban berdasarkan buku). Analogi ini dipakai supaya konsep teknis tidak terasa melayang. Hubungkan setiap istilah dengan perannya: siapa yang meminta, siapa yang memproses, data apa yang berpindah, dan hasil apa yang diharapkan.

Kalau analoginya sudah terasa masuk akal, barulah lihat istilah teknisnya. Cara ini membuat materi lebih mudah dipahami daripada langsung menghafal definisi.

Konteks dalam Perjalanan Belajar

Setiap konsep di platform ini dipilih karena dipakai di industri. Fokus pada pemahaman, bukan hafalan.

Kamu sudah di bagian lanjutan. Mulai pikirkan bagaimana konsep ini dipakai di dunia kerja — bukan hanya untuk belajar, tapi untuk membangun produk nyata.

Gunakan pertanyaan reflektif dan prompt AI di akhir chapter sebagai latihan aktif. Membaca saja tidak cukup — kamu perlu menjelaskan ulang dengan kata-katamu sendiri.

Prompt AI

Desain arsitektur RAG untuk use case: chatbot customer service yang menjawab berdasarkan 500 halaman dokumentasi produk. Minta AI memberikan diagram arsitektur dan trade-off decisions.

Pertanyaan Reflektif

Apakah produk AI-mu saat ini menggunakan RAG? Kalau belum, apakah ada fitur yang bisa di-improve dengan RAG? Misal: chatbot yang bisa jawab tentang produkmu berdasarkan dokumentasi.