Peta URL lama & redirect 301

Ini bagian migrasi yang paling langsung berdampak ke trafik, dan yang kerusakannya tidak muncul sebagai error di mana pun — hanya sebagai grafik yang menurun.

Kumpulkan URL dari empat sumber

# 1. Log akses nginx/Apache CI3 — sumber paling lengkap
zcat /var/log/nginx/access.log-*.gz \
  | awk '$9 == 200 && $6 == "\"GET" {print $7}' \
  | sed 's/?.*//' | sort | uniq -c | sort -rn > /tmp/url-log.txt

wc -l /tmp/url-log.txt

# 2. Sitemap lama
curl -s https://portal.contoh.id/sitemap.xml \
  | grep -oP '(?<=<loc>)[^<]+' > /tmp/url-sitemap.txt

# 3. Search Console → Ekspor "Pages" (URL yang benar-benar terindeks)

# 4. Database — bentuk URL yang dihasilkan CI3
mysql -N -e "SELECT CONCAT('/news/detail/', id, '/', slug) FROM artikel WHERE status='terbit'" portal \
  > /tmp/url-db.txt

Pola URL CI3 dan padanannya

Tabel peta

CREATE TABLE peta_url (
  jalur_lama  VARCHAR(500) NOT NULL,
  jalur_baru  VARCHAR(500) NOT NULL,
  status      SMALLINT     NOT NULL DEFAULT 301,
  hit         INT UNSIGNED NOT NULL DEFAULT 0,
  terakhir    DATETIME     NULL,
  PRIMARY KEY (jalur_lama(255))
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

-- Isi dari database untuk pola yang bisa diturunkan
INSERT IGNORE INTO peta_url (jalur_lama, jalur_baru)
SELECT CONCAT('/news/detail/', id, '/', slug), CONCAT('/berita/', slug)
FROM artikel WHERE status = 'terbit';

INSERT IGNORE INTO peta_url (jalur_lama, jalur_baru)
SELECT CONCAT('/news/detail/', id), CONCAT('/berita/', slug)
FROM artikel WHERE status = 'terbit';

Melayaninya

---
// src/pages/[...jalur].astro — penangkap terakhir
export const prerender = false;

import { cariPetaUrl } from "@/lib/peta-url";

const jalur = "/" + (Astro.params.jalur ?? "");

// 1. Normalisasi bentuk yang umum
const dinormalkan = jalur
  .replace(/^\/index\.php/, "")
  .replace(/\.html$/, "")
  .replace(/\/+$/, "") || "/";

// 2. Cari di peta
const tujuan = await cariPetaUrl(dinormalkan);

if (tujuan) {
  return Astro.redirect(tujuan.jalurBaru, tujuan.status);
}

// 3. Coba pola yang bisa dihitung, tanpa kueri peta
const cocok = dinormalkan.match(/^\/news\/detail\/(\d+)/);
if (cocok) {
  const slug = await slugArtikelById(Number(cocok[1]));
  if (slug) return Astro.redirect(`/berita/${slug}`, 301);
}

// 4. Benar-benar tidak ada
Astro.response.status = 404;
Astro.response.headers.set("Cache-Control", "public, max-age=0, s-maxage=300");
---
<Halaman404 jalurDiminta={jalur} />

Cache-nya, karena crawler akan datang berulang

// src/lib/peta-url.ts
import { cache } from "./cache-memori";

export function cariPetaUrl(jalur: string) {
  return cache(`peta:${jalur}`, 3600, async () => {
    const b = await dbBaca
      .selectFrom("peta_url")
      .select(["jalur_baru", "status"])
      .where("jalur_lama", "=", jalur)
      .executeTakeFirst();

    // Catat pemakaian, tanpa ditunggu
    if (b) {
      void dbTulis.updateTable("peta_url")
        .set((eb) => ({ hit: eb("hit", "+", 1), terakhir: new Date() }))
        .where("jalur_lama", "=", jalur).execute();
    }
    return b ? { jalurBaru: b.jalur_baru, status: b.status } : null;
  });
}

Redirect-nya sendiri juga layak di-cache di Cloudflare:

Astro.response.headers.set("Cache-Control", "public, max-age=0, s-maxage=86400");

Redirect 301 tidak berubah. Meng-cache-nya sehari di edge berarti crawler yang merayapi 40 ribu URL lama tidak memukul origin-mu 40 ribu kali.

Jangan bikin rantai

BURUK:
  /news/detail/4471  →  301  →  /berita/detail/4471  →  301  →  /berita/rupiah-menguat

BAIK:
  /news/detail/4471  →  301  →  /berita/rupiah-menguat

Setiap lompatan memakan anggaran perayapan dan menambah latensi bagi pembaca. Kalau kamu pernah mengubah bentuk URL sebelumnya, ratakan seluruh rantai lama langsung ke tujuan akhir sekarang.

301 vs 302 vs 410

Verifikasi seluruh daftar

#!/usr/bin/env bash
# uji-redirect.sh — jalankan terhadap SELURUH daftar URL lama
U=https://portal.contoh.id
gagal=0

while read -r jalur; do
  hasil=$(curl -sI -o /dev/null -w '%{http_code} %{redirect_url}' "$U$jalur")
  kode=${hasil%% *}
  tujuan=${hasil#* }

  case "$kode" in
    301) ;;                                             # baik
    200) echo "PERINGATAN 200 (tidak dialihkan): $jalur" ;;
    404) echo "GAGAL 404: $jalur"; gagal=$((gagal+1)) ;;
    *)   echo "GAGAL $kode: $jalur"; gagal=$((gagal+1)) ;;
  esac

  # Deteksi rantai
  if [ -n "$tujuan" ]; then
    k2=$(curl -sI -o /dev/null -w '%{http_code}' "$tujuan")
    [ "$k2" = "301" ] && echo "RANTAI: $jalur → $tujuan → …"
  fi
done < /tmp/url-semua.txt

echo "Gagal: $gagal"
exit $((gagal > 0))

Setelah peluncuran