Apa Itu Token pada Model AI?
Penjelasan sederhana mengenai unit dasar komputasi teks AI, bagaimana token dihitung, serta mengapa tarif input dan output token dibedakan.
1. Definisi Token: Bagaimana AI Membaca Teks
Model AI seperti GPT-4o atau o3-mini tidak memproses kalimat huruf demi huruf atau kata demi kata seperti manusia. Sebaliknya, model menggunakan algoritma *tokenizer* (seperti `cl100k_base` atau `o200k_base`) yang memotong teks menjadi fragmen kecil yang disebut token.
- 1 token ≈ 4 karakter teks bahasa Inggris
- 1 token ≈ 0.75 kata
- 100 token ≈ 75 kata
- 1 halaman dokumen standar (500 kata) ≈ 650–700 token
2. Perbedaan Input Token vs Output Token
Dalam dokumentasi dan penagihan OpenAI API, biaya selalu dipisahkan menjadi dua jenis:
Semua teks yang Anda kirimkan ke model: instruksi sistem, konteks dokumen RAG, riwayat obrolan masa lalu, dan pertanyaan pengguna saat ini. Harganya jauh lebih murah karena diproses secara paralel oleh GPU.
Teks yang diproduksi dan dikembalikan oleh model AI kepada Anda. Harganya umumnya 3 hingga 5 kali lipat lebih mahal dibanding input token karena model harus menghasilkan token satu per satu secara berurutan (*autoregressive inference*).
3. Apa Itu Cached Input Tokens?
Pada model generasi terbaru (GPT-4o, GPT-4o mini, o3-mini), OpenAI memperkenalkan fitur Prompt Caching otomatis. Ketika Anda mengirimkan prompt panjang yang awalan konteksnya sama persis (minimal 1.024 token) dalam kurun waktu 5–10 menit:
- Sistem OpenAI tidak perlu mengkalkulasi ulang representasi KV cache dari teks awal tersebut.
- Anda otomatis mendapatkan potongan harga 50% untuk seluruh token yang berhasil diambil dari cache (*cached input discount*).
- Latensi generasi token pertama menjadi jauh lebih instan.
4. Contoh Simulasi Perhitungan Sederhana
Misalkan Anda membuat chatbot layanan pelanggan berbasis GPT-4o mini ($0.15 / 1M input, $0.60 / 1M output):
1.000 panggilan per hari:
• Rata-rata Input: 2.000 token x 1.000 = 2.000.000 token/hari
• Rata-rata Output: 400 token x 1.000 = 400.000 token/hari
• Biaya Input harian: 2 x $0.15 = $0.30
• Biaya Output harian: 0.4 x $0.60 = $0.24
Total per hari: $0.54 (≈ Rp 8.640)
Total per bulan (30 hari): $16.20 (≈ Rp 259.200)