Fase 4 · Bicara dengan LLM

What is Amazon Bedrock?

Amazon Bedrock: layanan model foundation terkelola AWS, dan komponen-komponen yang diuji di sertifikasi.

Sumber asli docs.aws.amazon.com Resmi Rangkuman ~6 menit baca

Intisari

Bedrock = akses banyak model foundation lewat satu API AWS, dengan IAM, VPC, dan penagihan AWS.
Komponen yang wajib kamu kenali: Converse API, Knowledge Bases, Agents, Guardrails.
ID model Claude di Bedrock memakai prefix anthropic..
Kamu harus meminta akses model per region sebelum bisa memanggilnya.
Peta ke Fase 7: ChromaDB → Knowledge Bases, tool manual → Agents, filter → Guardrails.

Apa itu Bedrock

Bedrock adalah layanan terkelola AWS yang memberi akses ke model foundation dari beberapa penyedia (Anthropic, Meta, Mistral, Amazon, dan lainnya) lewat satu API — dengan kontrol akses IAM, jaringan VPC, logging CloudTrail, dan penagihan yang menyatu ke akun AWS-mu.

Nilai jual utamanya bukan modelnya, tapi integrasinya. Kalau organisasimu sudah memakai AWS dan butuh kepatuhan, jejak audit, atau data yang tidak boleh keluar dari VPC, Bedrock menyediakan itu tanpa kamu membangunnya sendiri.

Komponen yang diuji

Komponen	Fungsinya	Padanan buatanmu di Fase 7
Converse API	API percakapan seragam untuk semua model	`messages.create()`
Knowledge Bases	RAG terkelola: ingest, chunking, embedding, retrieval	Pipeline ChromaDB buatanmu
Agents	Orkestrasi tool multi-langkah terkelola	Loop `tool_use` manual
Guardrails	Filter konten, deteksi PII, topik terlarang	Validasi input/output buatanmu
Model Evaluation	Bandingkan model pada dataset	Eval buatanmu
Provisioned Throughput	Kapasitas terdedikasi	—
Custom Model Import	Bawa model sendiri	—

Inilah alasan capstone Fase 7 dirancang seperti itu. Setelah kamu membangun RAG manual — ingest, chunking, embedding, retrieval, sitasi, tool — kamu akan tahu persis apa yang di-abstraksi Knowledge Bases dan Agents. Soal ujian yang menanyakan "kapan pakai Knowledge Base vs retrieval kustom" jadi mudah karena kamu pernah membangun keduanya.

Dua kelompok API

Endpoint	Untuk	Contoh operasi
`bedrock`	Manajemen (control plane)	`ListFoundationModels`, buat Knowledge Base
`bedrock-runtime`	Inferensi (data plane)	`Converse`, `ConverseStream`, `InvokeModel`
`bedrock-agent-runtime`	Runtime Agents & KB	`Retrieve`, `RetrieveAndGenerate`, `InvokeAgent`

Akses model

aws bedrock list-foundation-models --region us-east-1 \
  --query 'modelSummaries[?providerName==`Anthropic`].modelId'

Kesalahan pertama yang hampir semua orang alami: AccessDeniedException meski IAM policy-nya sudah benar. Penyebabnya adalah model access — kamu harus meminta akses per model, per region, lewat konsol Bedrock. Ini terpisah dari IAM.

Memanggil Claude di Bedrock

Lewat SDK Anthropic (paling mudah)

uv add "anthropic[bedrock]"

from anthropic import AnthropicBedrockMantle

client = AnthropicBedrockMantle(aws_region="us-east-1")

response = client.messages.create(
    model="anthropic.claude-opus-5",     # ← prefix "anthropic." khusus Bedrock
    max_tokens=16000,
    messages=[{"role": "user", "content": "Halo"}],
)

Setelah client dibuat, seluruh permukaan API-nya sama dengan yang kamu pelajari sebelumnya.

Lewat boto3 + Converse API

import boto3

bedrock = boto3.client("bedrock-runtime", region_name="us-east-1")

r = bedrock.converse(
    modelId="anthropic.claude-opus-5",
    messages=[{"role": "user", "content": [{"text": "Halo"}]}],
    inferenceConfig={"maxTokens": 4096},
)
print(r["output"]["message"]["content"][0]["text"])

Bentuk ini netral-vendor dan yang paling sering muncul di soal ujian.

Fitur yang tidak tersedia di Bedrock

Perbedaan yang perlu kamu ingat saat memindahkan kode:

Batches API dan Files API — tidak ada
Managed Agents (milik Anthropic) — tidak ada; pakai Bedrock Agents
Web search / web fetch / code execution sisi server — tidak ada
Automatic prompt caching — cache manual tetap ada
Models API — pakai ListFoundationModels

Yang tetap ada: adaptive thinking, effort, prompt caching manual, structured output, tool use, streaming, dan vision.

IAM policy minimal

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Action": ["bedrock:InvokeModel", "bedrock:InvokeModelWithResponseStream"],
    "Resource": "arn:aws:bedrock:*::foundation-model/anthropic.*"
  }]
}

Yang perlu diketahui untuk ujian

Converse vs InvokeModel — Converse seragam lintas model; InvokeModel memakai format asli tiap penyedia
Knowledge Bases — sumber data (S3), embedding model, vector store (OpenSearch/Aurora/Pinecone), strategi chunking
Agents — action group, skema OpenAPI, orkestrasi, session state
Guardrails — filter konten, topik terlarang, PII, grounding check
Model access & region — ketersediaan model berbeda per region
Provisioned vs on-demand — kapan tiap model penagihan masuk akal

Rangkuman ini sengaja dipangkas ke bagian yang dipakai di roadmap. Buka sumber aslinya saat kamu butuh detail lengkap atau referensi parameter.