Embedding: Dari Teks ke Vector

Memahami embedding models, dimensions, dan strategi pemilihan embedding untuk RAG

Tujuan Pembelajaran

Memahami cara kerja text embedding dan representasi vector
Mampu memilih embedding model berdasarkan use case, bahasa, dan budget
Mampu mengimplementasikan embedding pipeline yang efisien

Analogi

Diagram


      Embedding = Peta Koordinat:

Dokumen 1 tentang 'cara masak nasi goreng'
→ Koordinat: (lat: 5.2, long: 3.1)

Dokumen 2 tentang 'resep nasi goreng spesial'
→ Koordinat: (lat: 5.3, long: 3.0) ← dekat dengan Dokumen 1!

Dokumen 3 tentang 'cara merawat tanaman hias'
→ Koordinat: (lat: 8.9, long: -2.1) ← jauh dari Dokumen 1

Sistem koordinat ini = embedding space (1536 dimensi)
Kedekatan = cosine similarity

Embedding seperti GPS untuk makna — dokumen yang mirip secara semantik akan 'dekat' dalam embedding space.

Penjelasan Konsep

Embedding mengkonversi teks menjadi vector numerik (array of numbers) yang menangkap makna semantik. Dokumen dengan makna mirip akan memiliki vector yang berdekatan (cosine similarity tinggi).

Embedding models: (1) OpenAI text-embedding-3-small (1536 dim) — murah, cukup untuk general use. (2) OpenAI text-embedding-3-large (3072 dim) — lebih akurat, lebih mahal. (3) Cohere Embed v3 — multilingual, bagus untuk non-English. (4) Open source: BGE, E5, GTE — bisa self-host, gratis.

Dimension trade-off: Dimensi tinggi (1536-3072) = lebih akurat, storage lebih besar, search lebih lambat. Dimensi rendah (384-768) = lebih cepat, storage kecil, cukup untuk use case sederhana. Banyak model support Matryoshka embedding — bisa potong dimensi tanpa kehilangan akurasi signifikan.

Bahasa Indonesia: Cohere Embed v3 dan BGE-M3 punya support multilingual yang baik. OpenAI ada-003 juga cukup baik untuk Bahasa Indonesia. Test dengan dataset bilingual.

Efisiensi embedding pipeline: (1) Batch processing — kirim multiple dokumen sekaligus (batch size 100-500). (2) Incremental update — hanya embed dokumen baru/diupdate. (3) Cache embeddings — jangan re-embed dokumen yang tidak berubah.

Inti yang Perlu Dipahami

Bagian ini berfokus pada memahami cara kerja text embedding dan representasi vector., mampu memilih embedding model berdasarkan use case, bahasa, dan budget., dan mampu mengimplementasikan embedding pipeline yang efisien. Jangan terburu-buru menghafal istilahnya. Lebih penting untuk memahami peran setiap konsep dan kapan konsep itu muncul dalam pekerjaan web development.

Saat membaca Embedding, gunakan tujuan belajar sebagai penanda arah. Kalau kamu sudah bisa menjelaskan tujuan itu dengan kata-katamu sendiri, berarti fondasinya mulai terbentuk.

Cara Membayangkannya

Embedding seperti GPS untuk makna — dokumen yang mirip secara semantik akan ‘dekat’ dalam embedding space. Analogi ini dipakai supaya konsep teknis tidak terasa melayang. Hubungkan setiap istilah dengan perannya: siapa yang meminta, siapa yang memproses, data apa yang berpindah, dan hasil apa yang diharapkan.

Kalau analoginya sudah terasa masuk akal, barulah lihat istilah teknisnya. Cara ini membuat materi lebih mudah dipahami daripada langsung menghafal definisi.

Saat Melihat Contoh Kode

Contoh kode pada chapter ini memakai bahasa typescript. Bacalah contoh kode sebagai ilustrasi alur, bukan sebagai bagian yang harus langsung dihafal.

Perhatikan nama fungsi, urutan langkah, dan data yang berpindah. Biasanya tiga hal itu sudah cukup untuk memahami hubungan antara teori dan praktik.

Konteks dalam Perjalanan Belajar

Setiap konsep di platform ini dipilih karena dipakai di industri. Fokus pada pemahaman, bukan hafalan.

Kamu sudah di bagian lanjutan. Mulai pikirkan bagaimana konsep ini dipakai di dunia kerja — bukan hanya untuk belajar, tapi untuk membangun produk nyata.

Gunakan pertanyaan reflektif dan prompt AI di akhir chapter sebagai latihan aktif. Membaca saja tidak cukup — kamu perlu menjelaskan ulang dengan kata-katamu sendiri.

Contoh Kode

typescript

// Embedding pipeline dengan OpenAI
import OpenAI from 'openai';

const openai = new OpenAI();

async function embedDocuments(docs: string[]) {
  const response = await openai.embeddings.create({
    model: 'text-embedding-3-small',
    input: docs,
    dimensions: 512, // Matryoshka: potong dimensi
  });
  return response.data.map(d => d.embedding);
}

async function embedQuery(query: string) {
  const response = await openai.embeddings.create({
    model: 'text-embedding-3-small',
    input: query,
    dimensions: 512,
  });
  return response.data[0].embedding;
}

Prompt AI

Benchmark 3 embedding models untuk dataset Bahasa Indonesia. Evaluasi: accuracy retrieval, latency, cost per 1M tokens. Minta AI bantu desain benchmark methodology.

Pertanyaan Reflektif

Apakah embedding model yang kamu pakai dioptimasi untuk bahasa yang kamu gunakan? Jangan asumsi model English works well untuk Bahasa Indonesia — test!