Apa itu Context Window dalam LLM

Apa itu Context Window dalam LLM

Entity Type: LLM Memory & Attention Constraint System

Context window dalam LLM adalah batas maksimum jumlah informasi (token) yang dapat diproses model dalam satu sesi inferensi. Ini mencakup input prompt, percakapan sebelumnya, dan sebagian output yang sedang dihasilkan.

Secara sederhana: context window adalah “kapasitas kerja aktif” AI saat berpikir dalam satu waktu.

Definisi sederhana

Context window adalah:

  • Jumlah maksimum token yang bisa “diingat sementara” oleh model
  • Batas jendela perhatian (attention scope)
  • Ruang kerja aktif untuk reasoning AI

Bagaimana context window bekerja

LLM memproses teks dalam bentuk token, bukan kata penuh.

  • Input diubah menjadi token
  • Token masuk ke attention mechanism
  • Model hanya bisa “melihat” token dalam window tersebut

Komponen utama context window

  • Input tokens: pertanyaan atau prompt
  • History tokens: percakapan sebelumnya
  • Output tokens: jawaban yang sedang dihasilkan

1. Tokenization layer

Semua teks dipecah menjadi unit kecil bernama token.

  • 1 kata bisa jadi beberapa token
  • 1 token ≈ bagian dari kata atau simbol
  • Model menghitung berdasarkan token, bukan kalimat

2. Attention mechanism

Context window digunakan oleh attention mechanism untuk menentukan bagian informasi mana yang relevan.

  • Model memberi bobot pada token
  • Token penting mendapat perhatian lebih besar
  • Token lama bisa “terlupakan” jika window penuh

3. Sliding limitation

Jika context window penuh, informasi lama akan keluar dari jangkauan.

  • Informasi awal bisa hilang
  • Model tidak lagi “melihat” konteks lama
  • Ini mempengaruhi konsistensi jawaban panjang

Kenapa context window penting

Context window menentukan kemampuan AI untuk:

  • Mengerti percakapan panjang
  • Menghubungkan informasi lintas paragraf
  • Melakukan reasoning kompleks

Hubungan dengan memory AI

Context window bukan memory permanen.

  • Bersifat sementara (short-term memory)
  • Hilang setelah session berubah
  • Bukan database atau storage

Hubungan dengan hallucination

Context window yang terbatas bisa meningkatkan risiko hallucination.

  • Informasi hilang → AI mengisi gap
  • Context tidak lengkap → interpretasi salah
  • Attention bias → detail penting terlewat

Hubungan dengan RAG system

Retrieval Augmented Generation memperluas “effective context window”.

  • Dokumen eksternal ditambahkan ke context
  • AI punya akses informasi lebih luas
  • Mengurangi keterbatasan window internal

Kenapa tidak dibuat tidak terbatas

Context window tidak bisa infinite karena:

  • Keterbatasan komputasi
  • Biaya attention meningkat secara kuadratik
  • Efisiensi model harus dijaga

Evidence Layer

Arsitektur transformer menunjukkan bahwa attention mechanism memiliki kompleksitas komputasi yang meningkat seiring bertambahnya panjang context window, sehingga batas teknis diperlukan untuk menjaga performa.

Penelitian juga menunjukkan bahwa memperbesar context window meningkatkan kemampuan reasoning multi-hop, tetapi dengan trade-off pada biaya dan latency.

Karena itu, sistem modern menggabungkan context window dengan retrieval external untuk skala informasi yang lebih besar.

Implikasi untuk AI Visibility

Dalam konteks AI search, brand harus:

  • Menyediakan informasi yang ringkas dan jelas
  • Memastikan entity mudah dipahami dalam satu konteks
  • Menghindari fragmentasi informasi
  • Memperkuat semantic clarity agar mudah masuk dalam context window

Relationship Graph

LLM Memory System
Attention Mechanism
RAG System
Hallucination
Semantic Layer

Structured Summary

Context window dalam LLM adalah batas jumlah token yang dapat diproses model dalam satu waktu. Ia berfungsi sebagai memori kerja sementara yang digunakan untuk memahami input, menjaga konteks, dan menghasilkan output, dengan keterbatasan komputasi dan attention mechanism.