Lambda — response streaming

Streaming memperbaiki time-to-first-byte dan menaikkan batas payload dari 6 MB ke 200 MB. Tapi dukungan runtime-nya tidak merata, dan itu menentukan arsitekturmu.

Kenapa ini penting untuk aplikasi LLM

Jawaban model butuh beberapa detik untuk selesai. Tanpa streaming, pengguna menatap layar kosong selama itu, lalu seluruh jawaban muncul sekaligus. Dengan streaming, kata pertama muncul dalam ratusan milidetik. Perbedaan yang dirasakan pengguna jauh lebih besar daripada perbedaan waktu total.

Tiga cara memanggilnya

Pola FastAPI + Lambda Web Adapter

Kalau kamu datang dari learn-python, ini terasa akrab: kode SSE-nya persis sama dengan yang kamu tulis di FastAPI, dan adapter yang menjembatankannya ke Lambda.

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
import boto3

app = FastAPI()
bedrock = boto3.client("bedrock-runtime")

@app.post("/tanya")
def tanya(pertanyaan: str):
    def potongan():
        resp = bedrock.converse_stream(
            modelId=MODEL_ID,
            messages=[{"role": "user", "content": [{"text": pertanyaan}]}],
        )
        for peristiwa in resp["stream"]:
            if "contentBlockDelta" in peristiwa:
                teks = peristiwa["contentBlockDelta"]["delta"]["text"]
                yield f"data: {teks}\n\n"
        yield "data: [SELESAI]\n\n"

    return StreamingResponse(potongan(), media_type="text/event-stream")

Biaya dan timeout

Dua hal yang mudah menyakitkan. Pertama, respons yang sedang di-stream tidak dihentikan ketika klien memutus koneksi — fungsimu tetap jalan sampai selesai, dan kamu dibayar penuh. Kedua, karena streaming mengundang timeout yang panjang, satu bug loop bisa berarti 15 menit pemanggilan Bedrock yang tak seorang pun membacanya.

Penawarnya: pasang timeout sekonservatif mungkin (misalnya 60–120 detik untuk endpoint chat), dan batasi maxTokens di sisi Bedrock. Jangan andalkan klien untuk menghentikan apa pun.