Membersihkan data & konten warisan

Databasemu berumur bertahun-tahun dan sudah melewati beberapa sistem. Migrasi platform adalah kesempatan terbaik membersihkannya — dan satu-satunya waktu di mana biayanya bisa dibenarkan.

Inventarisasi charset

SELECT TABLE_NAME, TABLE_COLLATION,
       ROUND(DATA_LENGTH / 1024 / 1024) AS mb
FROM information_schema.TABLES
WHERE TABLE_SCHEMA = 'portal'
ORDER BY DATA_LENGTH DESC;

-- Per kolom, karena kolom bisa berbeda dari tabelnya
SELECT TABLE_NAME, COLUMN_NAME, CHARACTER_SET_NAME, COLLATION_NAME
FROM information_schema.COLUMNS
WHERE TABLE_SCHEMA = 'portal'
  AND CHARACTER_SET_NAME IS NOT NULL
  AND CHARACTER_SET_NAME <> 'utf8mb4';

Mendeteksi teks yang sudah rusak

-- Mojibake khas: UTF-8 yang pernah dibaca sebagai latin1
SELECT id, judul FROM artikel
WHERE judul LIKE '%Ã%' OR judul LIKE '%â€%' OR judul LIKE '%Â%'
LIMIT 50;

-- Perbaikan mojibake: baca ulang byte-nya sebagai latin1, tafsirkan sebagai utf8mb4.
-- UJI DI SALINAN DULU. Selalu.
UPDATE artikel
SET judul = CONVERT(BINARY(CONVERT(judul USING latin1)) USING utf8mb4)
WHERE judul LIKE '%Ã%' OR judul LIKE '%â€%';

Konversi charset

-- Cek dulu berapa lama dan apakah bisa tanpa mengunci
ALTER TABLE artikel
  CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci,
  ALGORITHM=INPLACE, LOCK=NONE;
-- Kalau ditolak: operasinya butuh menyalin tabel dan MENGUNCI.

HTML dari beberapa generasi

-- Apa saja yang ada di badan artikel?
SELECT
  SUM(isi LIKE '%<font%')       AS tag_font,
  SUM(isi LIKE '%style="%')      AS style_sebaris,
  SUM(isi LIKE '%<table%')       AS tabel_layout,
  SUM(isi LIKE '%<center%')      AS tag_center,
  SUM(isi LIKE '%<iframe%')      AS iframe,
  SUM(isi LIKE '%mso-%')         AS tempel_dari_word,
  SUM(isi LIKE '%<script%')      AS script,
  SUM(isi LIKE '%src="http://%') AS gambar_http,
  COUNT(*)                       AS total
FROM artikel WHERE status = 'terbit';

-- Perbaikan gambar HTTP: cepat dan berdampak langsung
UPDATE artikel
SET isi = REPLACE(isi, 'src="http://portal.contoh.id', 'src="https://portal.contoh.id')
WHERE isi LIKE '%src="http://portal.contoh.id%';

Normalisasi bertahap

// Jangan bersihkan 200 ribu artikel dalam satu transaksi.
export async function bersihkanBatch(batas = 500) {
  const artikel = await dbBaca
    .selectFrom("artikel")
    .select(["id", "isi"])
    .where("disanitasi", "=", 0)
    .orderBy("id", "asc")
    .limit(batas)
    .execute();

  for (const a of artikel) {
    const bersih = bersihkan(a.isi);          // Fase 7

    await dbTulis.updateTable("artikel")
      .set({ isi: bersih, disanitasi: 1 })
      .where("id", "=", a.id)
      .execute();
  }
  return artikel.length;
}

Jalankan sebagai tugas berkala sampai habis. Sementara itu, artikel yang belum tersentuh tetap aman karena dibersihkan saat dirender (Fase 7). Tidak ada jendela pemeliharaan yang dibutuhkan.

Berkas yatim di uploads/

# Semua berkas yang ada
find /var/www/portal/uploads -type f -printf '%P\n' | sort > /tmp/ada.txt

# Yang dirujuk kolom database
mysql -N -e "SELECT gambar FROM artikel WHERE gambar IS NOT NULL
             UNION SELECT foto FROM member WHERE foto IS NOT NULL" portal \
  | sed 's|^/*uploads/||' | sort -u > /tmp/dirujuk-kolom.txt

# Yang dirujuk DI DALAM badan artikel — jangan lupa ini
mysql -N -e "SELECT isi FROM artikel" portal \
  | grep -oE 'uploads/[^"'"'"' )>]+' | sed 's|^uploads/||' | sort -u > /tmp/dirujuk-inline.txt

cat /tmp/dirujuk-kolom.txt /tmp/dirujuk-inline.txt | sort -u > /tmp/dirujuk.txt

comm -23 /tmp/ada.txt /tmp/dirujuk.txt > /tmp/yatim.txt
wc -l /tmp/ada.txt /tmp/dirujuk.txt /tmp/yatim.txt
du -ch $(sed 's|^|/var/www/portal/uploads/|' /tmp/yatim.txt) 2>/dev/null | tail -1

Urutan yang disarankan