Vector database & semantic search dengan pgvector

Membandingkan satu vektor query dengan sejuta vektor tersimpan satu-satu (brute force) menjadi lambat begitu datanya besar. Vector database menyelesaikan ini dengan index khusus, dan pgvector membawa kemampuan itu ke Postgres.

Kenapa butuh index khusus

Mencari "vektor mana yang paling mirip dengan vektor query ini" di antara sejuta baris, dengan membandingkan satu per satu (brute force), berarti sejuta perhitungan cosine similarity setiap kali ada pencarian. Untuk data kecil ini masih cepat; begitu datanya jutaan baris, ini jadi lambat. Vector database (atau extension vektor di database yang sudah ada) menyediakan index khusus yang mempercepat pencarian ini secara signifikan, dengan trade-off akurasi sedikit di bawah 100%.

pgvector: kemampuan vektor di Postgres yang sudah kamu pakai

Kalau aplikasimu sudah memakai Postgres — kemungkinan besar iya — pgvector menambahkan tipe data vector dan operator jarak langsung sebagai extension, tanpa perlu menjalankan database terpisah khusus untuk vektor.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE dokumen (
    id BIGSERIAL PRIMARY KEY,
    judul TEXT NOT NULL,
    isi TEXT NOT NULL,
    kategori TEXT,
    embedding VECTOR(1536)   -- sesuaikan dengan dimensi model embedding-mu
);

-- pencarian brute-force: cocok untuk data kecil/menengah
SELECT judul, isi, 1 - (embedding <=> '[0.1, 0.2, ...]') AS kemiripan
FROM dokumen
ORDER BY embedding <=> '[0.1, 0.2, ...]'   -- <=> adalah operator jarak cosine
LIMIT 5;

import psycopg

def cari_dokumen_mirip(query: str, k: int = 5) -> list[dict]:
    vektor_query = embed(query)  # dari materi sebelumnya

    with psycopg.connect(DSN) as conn:
        rows = conn.execute(
            """SELECT judul, isi, 1 - (embedding <=> %s) AS kemiripan
               FROM dokumen ORDER BY embedding <=> %s LIMIT %s""",
            (vektor_query, vektor_query, k),
        ).fetchall()
    return rows

Index HNSW: cepat, tapi perkiraan

Untuk data besar, tambahkan index HNSW (Hierarchical Navigable Small World) — struktur graf yang mempercepat pencarian tetangga terdekat secara drastis.

CREATE INDEX ON dokumen USING hnsw (embedding vector_cosine_ops);

Kelebihan menyatukan data terstruktur & vektor

Karena kolom vektor bisa hidup di tabel Postgres biasa, kamu bisa menggabungkan filter data terstruktur dengan pencarian kemiripan dalam satu query — sesuatu yang lebih rumit dilakukan kalau vektor disimpan di sistem terpisah dari data relasionalmu.

-- cari dokumen mirip, TAPI hanya dalam kategori tertentu
SELECT judul, isi FROM dokumen
WHERE kategori = 'kebijakan-hr'
ORDER BY embedding <=> %s
LIMIT 5;