Metrics: BLEU, ROUGE, dan Beyond

Metrik kuantitatif memberikan cara objektif (meski tidak sempurna) untuk mengukur kualitas output AI.

BLEU (Bilingual Evaluation Understudy): Mengukur overlap n-gram antara output dan reference. Awalnya untuk machine translation. Range 0-1. Kelemahan: tidak menangkap semantik — “kucing duduk di atas karpet” vs “hewan peliharaan berada di lantai” → BLEU rendah padahal makna mirip.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation): Mengukur recall n-gram. Fokus pada “berapa banyak konten reference yang tercakup di output”. Cocok untuk summarization.

BERTScore: Menggunakan BERT embeddings untuk mengukur semantic similarity — bukan cuma exact word match. Lebih baik untuk parafrase dan creative text.

Specialized metrics: (1) FactScore — mengecek factual consistency dengan knowledge base. (2) RAGAs — framework evaluasi RAG: faithfulness, answer relevance, context relevance. (3) Toxicity classifiers — deteksi konten berbahaya. (4) Prompt injection detectors.

Kapan metrik tradisional cukup: translation, summarization fact-based, format-specific output. Kapan butuh alternatif: open-ended generation, creative writing, dialogue.

Praktik: gunakan kombinasi metrik. Tidak ada single metric yang sempurna — triangulasi dengan multiple metrics + human spot-check.

Inti yang Perlu Dipahami

Bagian ini berfokus pada memahami metrik tradisional: BLEU, ROUGE, METEOR, BERTScore., mampu memilih metrik yang tepat berdasarkan use case., dan mengerti keterbatasan metrik tradisional dan alternatif modern. Jangan terburu-buru menghafal istilahnya. Lebih penting untuk memahami peran setiap konsep dan kapan konsep itu muncul dalam pekerjaan web development.

Saat membaca Metrics, gunakan tujuan belajar sebagai penanda arah. Kalau kamu sudah bisa menjelaskan tujuan itu dengan kata-katamu sendiri, berarti fondasinya mulai terbentuk.

Cara Membayangkannya

Setiap metrik seperti alat ukur berbeda — pilih yang sesuai dengan apa yang kamu ukur. Meteran tidak cocok untuk mengukur kreativitas. Analogi ini dipakai supaya konsep teknis tidak terasa melayang. Hubungkan setiap istilah dengan perannya: siapa yang meminta, siapa yang memproses, data apa yang berpindah, dan hasil apa yang diharapkan.

Kalau analoginya sudah terasa masuk akal, barulah lihat istilah teknisnya. Cara ini membuat materi lebih mudah dipahami daripada langsung menghafal definisi.

Konteks dalam Perjalanan Belajar

Setiap konsep di platform ini dipilih karena dipakai di industri. Fokus pada pemahaman, bukan hafalan.

Kamu sudah di bagian lanjutan. Mulai pikirkan bagaimana konsep ini dipakai di dunia kerja — bukan hanya untuk belajar, tapi untuk membangun produk nyata.

Gunakan pertanyaan reflektif dan prompt AI di akhir chapter sebagai latihan aktif. Membaca saja tidak cukup — kamu perlu menjelaskan ulang dengan kata-katamu sendiri.