Introducing Contextual Retrieval

Chunk yang terpotong kehilangan konteksnya. Contextual retrieval memperbaikinya dengan menambahkan konteks sebelum embedding.

Masalahnya

Bayangkan dokumen laporan keuangan dipotong jadi chunk. Salah satu chunk berbunyi:

"Pendapatan perusahaan tumbuh 3% dibanding kuartal sebelumnya."

Kalau pengguna bertanya "berapa pertumbuhan pendapatan ACME di Q2 2023?", chunk itu kemungkinan besar tidak ditemukan. Kenapa? Karena chunk itu tidak menyebut:

• Perusahaan mana
• Kuartal mana
• Tahun berapa

Semua informasi itu ada di dokumen induknya — tapi hilang saat dipotong.

Contextual retrieval

Idenya sederhana: sebelum meng-embed, tambahkan konteks singkat di depan tiap chunk.

SEBELUM (chunk mentah):
"Pendapatan perusahaan tumbuh 3% dibanding kuartal sebelumnya."

SESUDAH (dengan konteks):
"Potongan ini berasal dari laporan keuangan ACME Corp untuk Q2 2023;
bagian sebelumnya membahas pendapatan Q1 sebesar $314 juta.

Pendapatan perusahaan tumbuh 3% dibanding kuartal sebelumnya."

Sekarang chunk itu mengandung "ACME", "Q2 2023", dan "pendapatan" — dan bisa ditemukan oleh pertanyaan tadi.

Cara membuat konteksnya

PROMPT_KONTEKS = """<dokumen>
{dokumen}
</dokumen>

Berikut satu potongan dari dokumen di atas:
<potongan>
{chunk}
</potongan>

Tulis 1-2 kalimat singkat yang menempatkan potongan ini dalam konteks
keseluruhan dokumen, untuk memperbaiki hasil pencarian.
Jawab hanya dengan kalimat konteksnya, tanpa pembuka apa pun."""


async def buat_konteks(dokumen: str, chunk: str) -> str:
    r = await client.messages.create(
        model="claude-haiku-4-5",          # tugas sederhana, model murah sudah cukup
        max_tokens=200,
        system=[{
            "type": "text",
            "text": f"<dokumen>\n{dokumen}\n</dokumen>",
            "cache_control": {"type": "ephemeral"},     # ← kunci penghematan biaya
        }],
        messages=[{"role": "user", "content": PROMPT_KONTEKS.format(
            dokumen="", chunk=chunk,
        )}],
    )
    return next(b.text for b in r.content if b.type == "text")

Pipeline ingest lengkap

async def ingest_dengan_konteks(path: Path, collection) -> None:
    dokumen = path.read_text(encoding="utf-8")
    chunks = potong(dokumen, ukuran=1000, tumpang=200)

    sem = asyncio.Semaphore(10)

    async def olah(i: int, chunk: str) -> dict:
        async with sem:
            konteks = await buat_konteks(dokumen, chunk)
        teks_lengkap = f"{konteks}\n\n{chunk}"
        return {
            "id": f"{path.stem}-{i}",
            "teks_embed": teks_lengkap,     # yang di-EMBED
            "teks_asli": chunk,             # yang DIKIRIM ke LLM saat menjawab
            "konteks": konteks,
            "sumber": str(path),
        }

    hasil = await asyncio.gather(*(olah(i, c) for i, c in enumerate(chunks)))

    embeddings = await buat_embedding([h["teks_embed"] for h in hasil])
    collection.upsert(
        ids=[h["id"] for h in hasil],
        embeddings=embeddings,
        documents=[h["teks_asli"] for h in hasil],
        metadatas=[{"sumber": h["sumber"], "konteks": h["konteks"]} for h in hasil],
    )

Hybrid search: embedding + BM25

Embedding menangkap makna; BM25 menangkap kata kunci persis. Keduanya gagal di tempat berbeda — dan itulah kenapa menggabungkannya bekerja.

from rank_bm25 import BM25Okapi

bm25 = BM25Okapi([c.split() for c in semua_chunk])

def cari_hybrid(query: str, emb_query: list[float], k: int = 20) -> list[str]:
    # Ambil kandidat dari kedua sisi
    id_vektor = cari_vektor(emb_query, k=k)
    id_bm25 = [semua_id[i] for i in bm25.get_top_n(query.split(), range(len(semua_id)), n=k)]

    # Gabungkan dengan Reciprocal Rank Fusion
    skor: dict[str, float] = {}
    for peringkat, id_ in enumerate(id_vektor):
        skor[id_] = skor.get(id_, 0) + 1 / (60 + peringkat)
    for peringkat, id_ in enumerate(id_bm25):
        skor[id_] = skor.get(id_, 0) + 1 / (60 + peringkat)

    return sorted(skor, key=skor.get, reverse=True)[:k]

Reranking

Ambil 20 kandidat teratas dari hybrid search, lalu urutkan ulang dengan model yang lebih teliti, dan ambil 5 terbaik untuk dikirim ke LLM.

Query
  │
  ├─ Vector search  ──┐
  │                   ├──> 20 kandidat ──> Rerank ──> 5 terbaik ──> LLM
  └─ BM25 search   ──┘

Reranking lebih mahal per dokumen, jadi hanya dijalankan pada kandidat yang sudah tersaring. Ini pola dua tahap yang standar: recall dulu (ambil banyak), lalu precision (saring yang terbaik).

Urutan perbaikan yang disarankan

1. RAG dasar — chunking + embedding + cosine similarity. Ukur akurasinya.
2. Tumpang tindih chunk — 10–20% dari ukuran chunk, supaya kalimat tidak terpotong di batas
3. Contextual retrieval — biasanya lompatan terbesar
4. Hybrid search — tambahkan BM25
5. Reranking — kalau masih kurang

Ukuran chunk

Mulai dari 800 token dengan tumpang tindih 150. Potong di batas yang alami (paragraf, judul bagian), bukan di tengah kalimat.

Yang layak dicatat untuk eval

• Recall@k — berapa persen chunk yang benar masuk ke k teratas
• Skor kemiripan chunk teratas — kalau rendah, mungkin memang tidak ada jawabannya
• Retrieval kosong — pertanyaan yang tidak menghasilkan chunk di atas ambang
• Akurasi sitasi — apakah chunk yang dikutip benar-benar mendukung jawabannya