Production Agents: Observability & Guardrails

Menjalankan agent di production dengan monitoring, cost control, dan safety boundaries

Tujuan Pembelajaran

Mampu mengimplementasikan observability untuk agent di production
Mampu menerapkan guardrails: budget limits, action restrictions, human approval
Memahami trade-off antara autonomy dan safety dalam agent systems

Analogi

Diagram


      Production Agents = Mobil Self-Driving:

Level 1-2 (Assisted): Agent suggest, human decide (Copilot pattern)
Level 3 (Conditional): Agent execute, human monitor dan intervene kalau perlu
Level 4-5 (Full Autonomy): Agent execute sendiri — butuh safety systems:
  - Speed limiter (budget/rate limits)
  - Collision detection (guardrails)
  - Black box (full trace logging)
  - Emergency stop (human override)

Production agents harus punya SEMUA safety systems ini.

Agent autonomy level seperti self-driving car — semakin autonom, semakin banyak safety systems yang diperlukan.

Penjelasan Konsep

Menjalankan agent di production dengan akses ke tools dan kemampuan mengambil keputusan adalah high-risk, high-reward. Butuh observability dan guardrails yang kuat.

Observability stack: (1) Tracing — setiap agent run punya trace ID, semua steps tercatat (LangSmith, OpenTelemetry). (2) Metrics dashboard — success rate, avg steps, avg cost, latency, error rate. (3) Alerting — notifikasi kalau agent stuck, error rate spike, atau cost anomaly. (4) Logs — full transcript setiap agent run untuk debugging.

Guardrails: (1) Budget limits — max LLM calls per task, max cost per day. (2) Action restrictions — whitelist tools yang boleh dipakai, blacklist actions berbahaya (delete, drop table). (3) Human approval — untuk aksi high-stakes (kirim email ke customer, deploy ke production), require human approval. (4) Rate limiting — batasi agent actions per time window. (5) Content safety — filter input/output untuk harmful content.

Trade-off: Autonomy (agent bisa cepat tanpa human bottleneck) vs Safety (human approval mencegah kesalahan fatal). Pattern: low-risk actions → auto. Medium-risk → auto with notification. High-risk → require approval.

Inti yang Perlu Dipahami

Bagian ini berfokus pada mampu mengimplementasikan observability untuk agent di production., mampu menerapkan guardrails: budget limits, action restrictions, human approval., dan memahami trade-off antara autonomy dan safety dalam agent systems. Jangan terburu-buru menghafal istilahnya. Lebih penting untuk memahami peran setiap konsep dan kapan konsep itu muncul dalam pekerjaan web development.

Saat membaca Production Agents, gunakan tujuan belajar sebagai penanda arah. Kalau kamu sudah bisa menjelaskan tujuan itu dengan kata-katamu sendiri, berarti fondasinya mulai terbentuk.

Cara Membayangkannya

Agent autonomy level seperti self-driving car — semakin autonom, semakin banyak safety systems yang diperlukan. Analogi ini dipakai supaya konsep teknis tidak terasa melayang. Hubungkan setiap istilah dengan perannya: siapa yang meminta, siapa yang memproses, data apa yang berpindah, dan hasil apa yang diharapkan.

Kalau analoginya sudah terasa masuk akal, barulah lihat istilah teknisnya. Cara ini membuat materi lebih mudah dipahami daripada langsung menghafal definisi.

Konteks dalam Perjalanan Belajar

Setiap konsep di platform ini dipilih karena dipakai di industri. Fokus pada pemahaman, bukan hafalan.

Kamu sudah di bagian lanjutan. Mulai pikirkan bagaimana konsep ini dipakai di dunia kerja — bukan hanya untuk belajar, tapi untuk membangun produk nyata.

Gunakan pertanyaan reflektif dan prompt AI di akhir chapter sebagai latihan aktif. Membaca saja tidak cukup — kamu perlu menjelaskan ulang dengan kata-katamu sendiri.

Prompt AI

Desain observability + guardrails system untuk production agent. Components: trace logging, metrics dashboard, budget limits, action whitelist, human approval flow.

Pertanyaan Reflektif

Kalau agent-mu punya akses ke database production, apa yang paling buruk yang bisa terjadi? Apakah guardrails-mu mencegah skenario itu?