← Semua picks

Stack Comparison Conditional

Lighthouse 95, slow on real Android: which audit tool tells the truth?

Lighthouse CI vs Unlighthouse vs PageSpeed Insights API, diuji dengan profil throttling Android kelas menengah di 4G yang didokumentasikan. Mana yang menangkap regresi yang benar-benar diperbaiki developer?

7 Oktober 2026 · 10 menit ·Use case: Memilih cara memantau Core Web Vitals secara terus-menerus ketika skor Lighthouse bawaan terlihat bagus, tetapi situs tetap terasa lambat di Android kelas menengah dengan 4G yang naik-turun.
Lighthouse CIUnlighthousePageSpeed Insights APICrUX BigQuery

Saya menjalankan Lighthouse di Chrome DevTools pada halaman kategori milik klien dengan pengaturan bawaan, dan skor performanya 95. Lalu saya buka halaman yang sama di ponsel Android kelas menengah, lewat 4G yang sinyalnya terus naik-turun satu bar. Gambar hero baru muncul ketika saya sudah telanjur men-scroll melewati kotak kosong. Dua pengamatan itu sama-sama benar. Keduanya mengukur hal yang berbeda.

Selisih itulah alasan saya menulis perbandingan ini. Kalau ingin memantau Core Web Vitals secara terus-menerus, bukan sekali jalan sebelum launch, kamu akan memilih di antara tiga pendekatan: Lighthouse CI di pipeline, Unlighthouse yang meng-crawl seluruh situs, dan PageSpeed Insights API yang menarik data lapangan CrUX. Saya menyiapkan ketiganya di satu situs Astro yang sama. Ini adalah lighthouse ci vs unlighthouse, dengan PSI API sebagai pilihan ketiga, dinilai dengan satu pertanyaan: tool mana yang menangkap regresi yang benar-benar diperbaiki developer?

Satu catatan ruang lingkup dulu. Artikel ini membahas metode. Saya tidak membuat klaim apa pun tentang berapa skor pengguna Indonesia secara umum, dan di bagian bawah kamu akan lihat kenapa PSI API memang tidak bisa menjawab pertanyaan itu.

Lab data vs field data (CrUX): kenapa skor 95 bisa menyesatkan

Lab data berasal dari satu kali muat halaman secara sintetis dengan kondisi yang kamu kendalikan: perangkat emulasi, profil throttling jaringan, dan pengali perlambatan CPU. Hasilnya bisa diulang, jadi cocok untuk membandingkan halaman sebelum dan sesudah sebuah commit.

Field data berasal dari Chrome UX Report (CrUX): pengguna Chrome sungguhan, dilaporkan di persentil ke-75 dalam jendela 28 hari bergulir. Ini menunjukkan apa yang benar-benar dialami orang. Tetapi datanya terlambat berminggu-minggu dan tidak pernah menunjuk ke commit tertentu.

Skor 95 itu menyesatkan saya karena alasan yang sudah terdokumentasi dengan baik:

  • Profil jaringan bawaan itu stabil. Run mobile default Lighthouse memakai simulated throttling dengan RTT 150 ms dan throughput sekitar 1,6 Mbps. Lighthouse menyebutnya “Slow 4G”, tetapi koneksinya mulus. 4G yang tidak stabil membawa lonjakan latensi dan packet loss, dan simulasi tidak memodelkan itu.
  • Pengali CPU mengandaikan host yang kencang. Perlambatan 4x bawaan dimaksudkan agar desktop bertenaga berperilaku kurang lebih seperti ponsel kelas menengah. Ponsel kelas menengah sungguhan yang sedang hangat dan punya banyak aplikasi di latar belakang bisa lebih lambat dari itu.
  • Run lab tidak berinteraksi. Run navigasi standar tidak pernah mengetuk apa pun, jadi tidak bisa mengukur INP. Total Blocking Time (TBT) adalah proksi di lab, dan hanya proksi.
  • Skor adalah campuran berbobot. Angka 95 bisa menyembunyikan LCP yang tampak baik di simulasi tetapi datang terlambat di perangkat asli.

Sebagai acuan, ambang batas “good” dari Google di p75 adalah LCP ≤ 2,5 detik, INP ≤ 200 ms, dan CLS ≤ 0,1.

Profil throttling yang saya pakai (throttling Lighthouse Android 4G)

Tidak ada preset resmi “Android kelas menengah di 4G yang jelek”, jadi saya membuat sendiri dan menuliskannya agar kamu bisa menyalin atau menolaknya. Semua run lab di artikel ini memakai profil ini.

SetelanDefault Lighthouse (mobile)Profil saya: Android menengah, 4G tidak stabil
throttlingMethodsimulatesimulate
rttMs150300
throughputKbps1638.41200
cpuSlowdownMultiplier46 (dikalibrasi, lihat di bawah)
Emulasi layar412×823, DPR 1.75sama
Run per URL15, ambil median

Saya memilih simulate, bukan throttling devtools, karena run simulasi lebih stabil antar-run di mesin CI yang dipakai bersama. Kalau kamu beralih ke devtools, Lighthouse membaca field yang berbeda (requestLatencyMs, downloadThroughputKbps, uploadThroughputKbps), jadi angka di atas tidak bisa dipindahkan begitu saja.

Kalibrasi pengali CPU di mesin yang menjalankan audit, bukan di laptopmu. Setiap laporan JSON Lighthouse memuat environment.benchmarkIndex. Dokumentasi throttling di repo Lighthouse menjelaskan cara menyesuaikan cpuSlowdownMultiplier berdasarkan nilai itu. Runner GitHub dan MacBook seri M menghasilkan angka benchmark yang jauh berbeda, jadi pengali yang pas di satu mesin akan meleset di mesin lain.

Anggap profil ini alarm dini, bukan ramalan. Profil ini membuat regresi muncul lebih cepat di lab. Ia tidak memprediksi berapa p75 lapanganmu.

Lighthouse CI: gerbang di pipeline

Lighthouse CI (@lhci/cli) menjalankan Lighthouse terhadap daftar URL di setiap build, membandingkan hasilnya dengan assertion yang kamu tentukan, lalu menggagalkan check ketika assertion dilanggar. Berikut konfigurasi yang saya pakai, sebagai lighthouserc.json di root repo. Format JSON menghindari masalah CommonJS vs ESM di proyek yang memakai "type": "module", seperti proyek Astro.

{
  "ci": {
    "collect": {
      "startServerCommand": "npm run preview",
      "startServerReadyPattern": "ready",
      "url": [
        "http://localhost:4321/",
        "http://localhost:4321/blog/",
        "http://localhost:4321/pricing/"
      ],
      "numberOfRuns": 5,
      "settings": {
        "formFactor": "mobile",
        "screenEmulation": {
          "mobile": true,
          "width": 412,
          "height": 823,
          "deviceScaleFactor": 1.75,
          "disabled": false
        },
        "throttlingMethod": "simulate",
        "throttling": {
          "rttMs": 300,
          "throughputKbps": 1200,
          "cpuSlowdownMultiplier": 6
        },
        "onlyCategories": ["performance"]
      }
    },
    "assert": {
      "assertions": {
        "categories:performance": ["warn", { "minScore": 0.8, "aggregationMethod": "median-run" }],
        "largest-contentful-paint": ["error", { "maxNumericValue": 3500, "aggregationMethod": "median-run" }],
        "total-blocking-time": ["error", { "maxNumericValue": 400, "aggregationMethod": "median-run" }],
        "cumulative-layout-shift": ["error", { "maxNumericValue": 0.1, "aggregationMethod": "median-run" }]
      }
    },
    "upload": {
      "target": "filesystem",
      "outputDir": "./.lighthouseci-reports"
    }
  }
}

startServerReadyPattern harus cocok dengan teks yang dicetak server preview-mu begitu siap menerima koneksi, jadi sesuaikan kalau kamu tidak memakai Astro. Perhatikan juga bahwa ambang LCP-nya 3500 ms, bukan 2500. Dengan profil yang lebih keras dari default, LCP lab untuk halaman yang sehat akan berada di atas ambang lapangan. Tujuan assertion ini menangkap pergerakan, jadi saya menaruhnya sedikit di atas median saat ini lalu mengetatkannya setelah tiap perbaikan.

Workflow GitHub Actions-nya:

name: Lighthouse CI
on: pull_request

jobs:
  lighthouse:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: 22
      - run: npm ci
      - run: npm run build
      - run: npx --yes @lhci/cli autorun
      - uses: actions/upload-artifact@v4
        if: always()
        with:
          name: lighthouse-reports
          path: .lighthouseci-reports

Setelah setup berjalan, kunci versi @lhci/cli ke versi yang sudah kamu uji. Satu peringatan soal target upload temporary-public-storage: seperti namanya, laporannya publik. Jangan pakai untuk build staging yang memuat konten yang belum dirilis. Pakai target filesystem seperti di atas, atau host sendiri server LHCI kalau kamu butuh riwayat dan diff.

Yang ditangkap dengan baik: apa pun yang diubah pull request pada URL yang kamu daftarkan. Misalnya gambar hero baru tanpa dimensi (CLS), script pihak ketiga yang tiba-tiba memblokir main thread (TBT), dan pergantian font yang menunda LCP. Kegagalannya muncul di PR, di samping commit, saat penulisnya masih ingat apa yang dia ubah.

Kelemahannya: ia hanya tahu URL yang kamu berikan, dan hanya data lab. Build preview di runner CI tidak punya CDN dan sering tidak membawa payload tag manager produksi, sehingga sebagian regresi yang hanya terjadi di produksi tidak pernah muncul. Kalau ambangnya terlalu ketat, check-nya sebentar lulus sebentar gagal, dan orang belajar mengabaikannya.

Unlighthouse: crawl seluruh situs

Unlighthouse menerima URL situs, menemukan route dari sitemap dan tautan internal, menjalankan Lighthouse di tiap route, lalu menampilkan hasilnya di UI lokal yang bisa diurutkan berdasarkan metrik apa pun. Ia mengelompokkan URL dengan pola route yang sama, jadi blog dengan 400 artikel tidak berarti 400 audit yang identik. Konfigurasi saya, sebagai unlighthouse.config.ts:

export default {
  site: 'https://staging.example.com',
  scanner: {
    device: 'mobile',
    throttle: true,
    samples: 3,
    maxRoutes: 300,
  },
  lighthouseOptions: {
    throttlingMethod: 'simulate',
    throttling: {
      rttMs: 300,
      throughputKbps: 1200,
      cpuSlowdownMultiplier: 6,
    },
  },
}

Jalankan npx unlighthouse di folder yang sama dan konfigurasinya terbaca otomatis. Satu hal yang harus diverifikasi, bukan diasumsikan: buka JSON Lighthouse lengkap dari satu halaman hasil run dan cek configSettings.throttling. Opsi tingkat scanner dan default tool bisa menimpa apa yang kamu kirim lewat lighthouseOptions, dan kamu perlu memastikan profilmu yang benar-benar dipakai.

Yang ditangkap dengan baik: masalah level template di halaman yang tidak terpikir untuk dimasukkan ke daftar CI. Contohnya template landing page lama yang masih memuat carousel tanpa optimasi, template kategori yang elemen LCP-nya berupa background image, dan satu route yang layout-nya bergeser karena slot iklan tidak punya tinggi cadangan. Mengurutkan 300 route berdasarkan LCP memberi daftar prioritas dalam hitungan menit.

Kelemahannya: hasil run terikat pada tanggal, bukan commit, jadi temuannya datang tanpa pemilik. Crawl penuh dengan beberapa sampel per halaman memakan waktu. Memang ada perintah unlighthouse-ci dengan budget skor, tetapi meng-crawl seluruh situs di setiap PR lambat dan berisik bagi kebanyakan tim. Cara gagalnya yang paling sering: tim membuat laporan yang cantik, membagikan screenshot-nya, lalu tidak memperbaiki apa-apa.

PageSpeed Insights API: data lapangan CrUX

Satu endpoint, https://www.googleapis.com/pagespeedonline/v5/runPagespeed, mengembalikan tiga hal: run lab Lighthouse dari infrastruktur Google (lighthouseResult), data lapangan CrUX untuk URL yang persis sama (loadingExperience), dan data lapangan CrUX untuk seluruh origin (originLoadingExperience). Script di bawah berjalan di Node 18 atau lebih baru tanpa dependensi:

// psi-field.mjs
// Usage: PSI_API_KEY=your_key node psi-field.mjs https://example.com/ https://example.com/blog/
const ENDPOINT = 'https://www.googleapis.com/pagespeedonline/v5/runPagespeed';
const METRICS = {
  LARGEST_CONTENTFUL_PAINT_MS: 'LCP (ms)',
  INTERACTION_TO_NEXT_PAINT: 'INP (ms)',
  CUMULATIVE_LAYOUT_SHIFT_SCORE: 'CLS',
};

for (const url of process.argv.slice(2)) {
  const params = new URLSearchParams({ url, strategy: 'mobile', category: 'performance' });
  if (process.env.PSI_API_KEY) params.set('key', process.env.PSI_API_KEY);

  const res = await fetch(`${ENDPOINT}?${params}`);
  if (!res.ok) {
    console.error(`${url}: HTTP ${res.status}`);
    continue;
  }
  const data = await res.json();

  const urlField = data.loadingExperience;
  const useUrl = Boolean(urlField?.metrics) && !urlField.origin_fallback;
  const field = useUrl ? urlField : data.originLoadingExperience;
  const score = data.lighthouseResult?.categories?.performance?.score;

  console.log(`\n${url}`);
  console.log(`  lab score (PSI Lighthouse): ${score == null ? 'n/a' : Math.round(score * 100)}`);
  if (!field?.metrics) {
    console.log('  field: no CrUX data for this URL or origin');
    continue;
  }
  console.log(`  field scope: ${useUrl ? 'URL' : 'origin'} (p75, last 28 days, all countries)`);
  for (const [key, label] of Object.entries(METRICS)) {
    const m = field.metrics[key];
    if (!m) continue;
    const value = key === 'CUMULATIVE_LAYOUT_SHIFT_SCORE' ? m.percentile / 100 : m.percentile;
    console.log(`  ${label}: ${value} [${m.category}]`);
  }
}

CLS dikembalikan dikali 100, itu sebabnya script membaginya. Ambil API key dari Google Cloud dan cek kuotanya di sana sebelum menjadwalkan script ini untuk daftar URL yang panjang.

Yang ditangkap dengan baik: apa yang benar-benar dialami pengguna, termasuk INP yang tidak bisa diukur di lab. Kalau lab hijau tetapi p75 lapangan mulai bergeser ke “needs improvement”, PSI adalah tempat kamu mengetahuinya.

Kelemahannya: jendela 28 hari membuat regresi muncul perlahan dan perbaikan butuh berminggu-minggu untuk terlihat. URL dengan trafik rendah tidak punya data level URL sehingga jatuh ke data origin, atau tidak punya data sama sekali. Dan di sinilah batasan yang tadi saya janjikan untuk dinyatakan terang-terangan:

PSI API mengembalikan data CrUX global untuk sebuah URL atau origin. Ia tidak bisa memfilter per negara. CrUX API juga tidak punya dimensi negara. Kalau kamu ingin tahu bagaimana pengguna Chrome di Indonesia mengalami origin-mu, kamu butuh dataset CrUX di BigQuery, yang menerbitkan tabel negara bulanan hanya di level origin:

-- Share of page loads with good LCP (under 2.5 s), Indonesia only, one origin
SELECT
  form_factor.name AS device,
  ROUND(SUM(IF(bin.start < 2500, bin.density, 0)) / SUM(bin.density), 3) AS good_lcp_share
FROM
  `chrome-ux-report.country_id.202608`,
  UNNEST(largest_contentful_paint.histogram.bin) AS bin
WHERE
  origin = 'https://www.example.co.id'
GROUP BY
  device
ORDER BY
  device;

Ganti akhiran tabel dengan bulan terbaru yang sudah terbit. Origin-mu hanya muncul kalau punya cukup trafik Chrome dari negara itu, dan BigQuery menagih berdasarkan byte yang dipindai, jadi cek estimasinya sebelum menjalankan query. Inilah jalur yang jujur untuk kebutuhan crux bigquery per negara. Menganggap angka PSI yang global sebagai angka Indonesia bukan jalur yang jujur.

Lighthouse CI vs Unlighthouse vs PSI API: perbandingan berdampingan

Lighthouse CIUnlighthousePageSpeed Insights API
Jenis dataLabLabLapangan (CrUX) + satu run lab
Berjalan saatSetiap PR / buildSesuai permintaan atau terjadwalTerjadwal (mis. mingguan)
CakupanURL yang kamu daftarkanSeluruh situs, disampel per routeSatu URL atau origin per panggilan
Terikat ke commitYaTidakTidak
Kontrol throttlingPenuhPenuh (verifikasi bahwa terpakai)Tidak ada (profil tetap dari Google)
Mengukur INPTidak (proksi TBT)Tidak (proksi TBT)Ya, p75 lapangan
Filter negaran/an/aTidak, hanya global
Usaha setupSatu-dua jamHitungan menitHitungan menit plus API key
Jeda umpan balikMenitJam hingga sehariMinggu (jendela 28 hari)

Cara monitoring Core Web Vitals: rutinitas yang akan saya pertahankan

Kalau hanya satu bagian dari artikel ini yang kamu bawa pulang, ambil bagian ini. Ini rutinitas monitoring yang sanggup dijalankan tim kecil:

  1. Di setiap PR: Lighthouse CI dengan profil throttling yang terdokumentasi, assertion pada LCP, TBT, dan CLS, dengan skor hanya sebagai peringatan. Tiga sampai lima template kunci, bukan tiga puluh URL.
  2. Mingguan: cron job (schedule di GitHub Actions bisa dipakai) menjalankan psi-field.mjs terhadap URL kunci yang sama dan menambahkan hasilnya ke log atau spreadsheet. Yang kamu lihat adalah tren p75 lapangan, bukan nilai satu minggu tertentu.
  3. Bulanan: crawl Unlighthouse di staging atau produksi, diurutkan berdasarkan LCP dan CLS. Ubah tiga masalah template teratas menjadi tiket, dan abaikan sisanya sampai crawl berikutnya.
  4. Bulanan, kalau kamu butuh data per negara: jalankan query BigQuery di atas pada origin-mu setelah tabel bulan baru terbit.
  5. Kalau kamu butuh data lapangan per negara atau per halaman yang tidak bisa diberikan CrUX: pasang library web-vitals (onLCP, onINP, onCLS) dan kirim nilainya ke analytics milikmu sendiri, tempat kamu mengendalikan dimensinya.

Vonis: tool mana yang menangkap regresi yang benar-benar diperbaiki developer

Lighthouse CI, dengan profil throttling yang lebih keras dari default. Alasannya bukan karena angkanya lebih “benar”. Kebenaran soal pengguna ada di field data. Lighthouse CI menang karena ia satu-satunya dari ketiganya yang menaruh check gagal tepat pada perubahan penyebab masalah, di depan orang yang menulisnya, dalam hitungan menit. Regresi yang datang lengkap dengan penulis dan diff akan diperbaiki. Regresi yang datang sebagai laporan bulanan, atau sebagai pergeseran p75 yang pelan tanpa commit terkait, kebanyakan berakhir di backlog.

Dua tool lainnya tetap punya tugas yang jelas:

  • PSI API memeriksa apakah lab berbohong. Kalau Lighthouse CI hijau tetapi p75 lapangan terus memburuk, profil lab atau daftar URL-mu keliru, dan itulah sinyal untuk mengalibrasi ulang.
  • Unlighthouse menemukan halaman yang tidak tercakup daftar CI-mu. Pakai untuk menentukan URL mana yang perlu masuk Lighthouse CI berikutnya.

Jadi jawaban untuk teka-teki skor 95 versus ponsel asli bukan skor yang lebih tinggi. Jawabannya adalah profil lab yang terdokumentasi dan dikalibrasi, gerbang yang gagal berdasarkan metrik dan bukan skor, serta data lapangan yang kamu baca sebagai tren sambil tahu persis apa cakupannya. Untuk PSI API, cakupan itu global, bukan satu negara.

Langkah paling kecil untuk memulai: salin lighthouserc.json di atas dan jalankan di satu PR minggu ini. Lihat metrik mana yang bergerak, lalu putuskan sendiri ambang batasnya.

Ditulis oleh Putri Andini

// Pick Stack Comparison lain


← Semua picks RSS feed