Apa Itu Context Window pada Model AI?
Mengapa kapasitas memori kerja model bahasa menentukan seberapa banyak buku, kode program, atau riwayat obrolan yang dapat dicerna dalam satu waktu.
1. Definisi Jendela Konteks (Context Window)
Context Window (jendela konteks) adalah batas kapasitas memori kerja jangka pendek (*RAM kognitif*) suatu model AI dalam satu kali siklus pemanggilan (*inference request*).
Batas ini mencakup total gabungan dari semua input token yang Anda masukkan ditambah output token yang akan diproduksi oleh model. Jika jumlah token gabungan melebihi batas context window model, pemanggilan API akan ditolak dengan error context_length_exceeded.
2. Evolusi Kapasitas Context Window OpenAI
| Generasi Model | Context Window | Setara Buku / Halaman |
|---|---|---|
| GPT-3 (Original) | 2.048 token | ~3 halaman dokumen |
| GPT-3.5 Turbo | 4.096 - 16.384 token | ~5 - 25 halaman dokumen |
| GPT-4 (Original) | 8.192 token | ~12 halaman dokumen |
| GPT-4 Turbo / GPT-4o / o1 | 128.000 - 200.000 token | ~300 halaman buku tebal (1 novel) |
| GPT-6 Luna (Next-Gen) | 1.050.000 token | Seluruh codebase repositori raksasa (~2.000 halaman) |
3. Mengapa Context Window Besar Sangat Penting?
Memungkinkan Anda mengunggah PDF laporan tahunan 100+ halaman sekaligus tanpa perlu memotongnya secara manual.
Agen coding dapat membaca puluhan file TypeScript/Python dan skema database sekaligus untuk memahami arsitektur aplikasi secara holistik.
4. Keterbatasan: Masalah "Lost in the Middle"
Meskipun model modern memiliki context window 128k hingga 1M token, penelitian akademis menunjukkan fenomena "Lost in the Middle": model cenderung mengingat informasi yang berada di awal dan di akhir prompt dengan sangat akurat, namun terkadang kurang teliti mengambil fakta kecil yang terselip persis di bagian tengah dokumen raksasa.