Tujuan Pembelajaran

Memahami berbagai strategi chunking: fixed-size, semantic, recursive, dan hybrid
Mampu memilih chunk size dan overlap yang tepat untuk use case berbeda
Mampu mengimplementasikan chunking pipeline yang production-ready

Analogi

Diagram


      Chunking = Memotong Roti:

Potong terlalu besar:
Satu potong = setengah roti → susah dicari, susah dimakan
→ Retrieval tidak presisi (chunk berisi banyak topik)

Potong terlalu kecil:
Satu potong = remahan → tidak ada konteks
→ Retrieval presisi tapi kehilangan konteks

Potong ideal:
Ukuran pas di mulut → mudah dimakan, konteks lengkap
→ 500-1000 token per chunk, dengan overlap 10-20%

Chunking seperti memotong roti — terlalu besar susah 'dimakan' LLM, terlalu kecil kehilangan konteks.

Penjelasan Konsep

Chunking adalah langkah paling kritis dalam RAG pipeline. Kualitas chunking menentukan kualitas retrieval, dan kualitas retrieval menentukan kualitas jawaban.

Strategi chunking: (1) Fixed-size — potong setiap N karakter/token. Simple, cepat. Masalah: potong di tengah kalimat/paragraf, kehilangan konteks. (2) Semantic — potong berdasarkan makna (akhir paragraf, section boundary). Lebih baik untuk narasi. Gunakan NLP sentence splitter. (3) Recursive — coba chunk besar, kalau tidak pas, split lebih kecil. Mirip recursive character splitter di LangChain. (4) Hybrid — gabungan fixed + semantic: split by paragraph dulu, kalau paragraf terlalu panjang, split lagi.

Chunk size guidelines: chunk kecil (100-300 token) → retrieval presisi tinggi, cocok untuk FAQ, kode, definisi. Chunk medium (500-1000 token) → sweet spot. Chunk besar (2000+ token) → konteks lengkap, cocok untuk dokumen teknis, tapi retrieval kurang presisi.

Overlap: 10-20% overlap antar chunk. Mencegah informasi penting terpotong di boundary. Contoh: chunk 500 token + overlap 50 token.

Metadata: simpan metadata per chunk — source document, page number, section title, timestamp. Penting untuk attribution dan filtering.

Inti yang Perlu Dipahami

Bagian ini berfokus pada memahami berbagai strategi chunking: fixed-size, semantic, recursive, dan hybrid., mampu memilih chunk size dan overlap yang tepat untuk use case berbeda., dan mampu mengimplementasikan chunking pipeline yang production-ready. Jangan terburu-buru menghafal istilahnya. Lebih penting untuk memahami peran setiap konsep dan kapan konsep itu muncul dalam pekerjaan web development.

Saat membaca Chunking, gunakan tujuan belajar sebagai penanda arah. Kalau kamu sudah bisa menjelaskan tujuan itu dengan kata-katamu sendiri, berarti fondasinya mulai terbentuk.

Cara Membayangkannya

Chunking seperti memotong roti — terlalu besar susah ‘dimakan’ LLM, terlalu kecil kehilangan konteks. Analogi ini dipakai supaya konsep teknis tidak terasa melayang. Hubungkan setiap istilah dengan perannya: siapa yang meminta, siapa yang memproses, data apa yang berpindah, dan hasil apa yang diharapkan.

Kalau analoginya sudah terasa masuk akal, barulah lihat istilah teknisnya. Cara ini membuat materi lebih mudah dipahami daripada langsung menghafal definisi.

Konteks dalam Perjalanan Belajar

Setiap konsep di platform ini dipilih karena dipakai di industri. Fokus pada pemahaman, bukan hafalan.

Kamu sudah di bagian lanjutan. Mulai pikirkan bagaimana konsep ini dipakai di dunia kerja — bukan hanya untuk belajar, tapi untuk membangun produk nyata.

Gunakan pertanyaan reflektif dan prompt AI di akhir chapter sebagai latihan aktif. Membaca saja tidak cukup — kamu perlu menjelaskan ulang dengan kata-katamu sendiri.

Prompt AI

Ambil dokumen panjang (artikel, dokumentasi). Implementasi 3 strategi chunking berbeda — bandingkan hasil retrieval untuk 5 query yang sama. Mana strategi yang menghasilkan jawaban paling akurat?

Pertanyaan Reflektif

Coba RAG app yang sudah ada (Perplexity, NotebookLM). Bagaimana kualitas jawabannya? Apakah kadang jawabannya tidak relevan? Itu kemungkinan masalah chunking.