Amazon Titan Text Embeddings

Embedding mengubah teks jadi vektor yang bisa dibandingkan. Titan V2 adalah pilihan default di Bedrock, dan beberapa detailnya berdampak langsung ke desain pipeline-mu.

Spesifikasi yang perlu dihafal

Rasio karakter ke token untuk bahasa Inggris kira-kira 4:1. Untuk bahasa Indonesia biasanya lebih boros, jadi perkirakan lebih konservatif saat menghitung ukuran potongan.

Memanggilnya

import json
import boto3

runtime = boto3.client("bedrock-runtime", region_name="us-east-1")


def embed(teks: str, dimensi: int = 1024) -> list[float]:
    resp = runtime.invoke_model(
        modelId="amazon.titan-embed-text-v2:0",
        body=json.dumps({"inputText": teks, "dimensions": dimensi, "normalize": True}),
    )
    return json.loads(resp["body"].read())["embedding"]


v = embed("Bagaimana kebijakan cuti tahunan?")
print(len(v))     # 1024

Kuota dihitung per permintaan

Ini detail kecil yang berdampak besar. Berbeda dari model teks yang dibatasi token per menit, model embedding di Bedrock dibatasi permintaan per menit. Konsekuensinya: mengirim satu potongan per permintaan membuang kuota. Untuk ingest besar, kelompokkan.

import time
from botocore.exceptions import ClientError


def embed_banyak(potongan: list[str], jeda: float = 0.05) -> list[list[float]]:
    hasil = []
    for teks in potongan:
        for percobaan in range(5):
            try:
                hasil.append(embed(teks))
                break
            except ClientError as e:
                if e.response["Error"]["Code"] != "ThrottlingException":
                    raise
                time.sleep(2 ** percobaan)     # backoff eksponensial
        time.sleep(jeda)
    return hasil

Untuk indexing berskala besar, dokumentasi menyebut adanya jalur batch yang dioptimalkan untuk throughput, sementara pemanggilan biasa dioptimalkan untuk latensi — yang mana yang direkomendasikan saat retrieval.

Memilih dimensi

Praktik yang berdampak

• Segmentasikan dokumen panjang jadi bagian logis (paragraf, seksi) — dokumentasinya menganjurkan ini untuk tugas retrieval, walaupun batas 8.192 token belum tercapai.
• Bersihkan teks sebelum embedding: header, footer, dan navigasi yang berulang mengencerkan sinyal.
• Simpan teks aslinya berdampingan dengan vektor — yang dikirim ke model adalah teksnya, bukan vektornya.
• Kalau kamu memakai Knowledge Bases, semua ini ditangani otomatis. Materi ini penting untuk saat kamu perlu membangun sendiri, dan untuk ujian.