Token
Unit terkecil teks yang diproses LLM — bisa berupa kata, bagian kata, atau karakter.
Token adalah unit teks yang LLM gunakan untuk memproses dan menghasilkan teks. Token bisa: satu kata (‘kucing’ = 1 token), bagian kata (‘unbelievable’ = ‘un’ + ‘believ’ + ‘able’ = 3 token), atau tanda baca (’!’ = 1 token). Aturan praktis: 1 token ~ 4 karakter bahasa Inggris, 1 token ~ 1-2 karakter bahasa Indonesia/Asia. Pricing LLM berdasarkan token: input tokens (prompt yang kamu kirim) dan output tokens (respons yang dihasilkan). Context window adalah maksimum token yang bisa diproses sekaligus (input + output). Token counting penting untuk: cost estimation, memastikan prompt muat di context window, dan mengoptimasi prompt (kurangi token = kurangi biaya + lebih cepat). Tool: tokenizer OpenAI untuk melihat token count.
Contoh Kode
# Token estimation (approximate)
# English: ~750 words ≈ 1000 tokens
# Code: ~1 line ≈ 10-30 tokens
# Indonesian: ~500 kata ≈ 1000 tokens
# Claude 3.5 Sonnet context window: 200K tokens
# GPT-4o context window: 128K tokens