Di seri sebelumnya saya menceritakan kenapa ibahasa.com mengubah arah dari kamus menjadi riset dan benchmark. Keputusan itu berawal dari data trafik halaman /kata. Saya mengira pembaca beralih ke mesin pencari dan AI yang sudah bisa memberikan jawaban secara langsung.
187 alamat IP tidak selalu berarti 187 pengunjung. Bisa saja hanya satu scraper yang sedang memakai banyak wajah.
6.881 Request dalam 45 Menit
Saya menemukan satu rekaman trafik selama 45 menit di log akses server pada 18 Agustus 2026. Angkanya cukup untuk membuat saya memeriksa ulang seluruh dugaan awal:
- 6.881 request tercatat dalam 45 menit
- 91,1 persen memakai satu User-Agent yang identik sampai ke nomor build Chrome-nya. User-Agent adalah identitas teks yang dikirim browser atau bot kepada server.
- Request datang dari 187 alamat IP berbeda yang terhubung melalui jaringan Cloudflare.
Angka 187 tidak otomatis berarti ada 187 pengunjung. Indikasinya, request ini berasal dari satu pola trafik yang memakai proksi terdistribusi agar terlihat seperti banyak pengunjung berbeda.
Trafiknya Pergi ke Mana?
77,6 persen dari request tersebut menuju satu tempat: /kata, halaman kata umum di ibahasa.com. Halaman /kata sendiri memakan 72,6 persen dari seluruh trafik server pada hari itu.
Sebagai pembanding, /riset dan /benchmark, yaitu arah baru situs ini, masing-masing hanya menerima 3 request dalam jendela waktu yang sama.
Polanya tidak acak. 2.422 request menuju halaman indeks abjad, mulai dari /kata/indeks/a sampai /z. Dengan mengikuti indeks dari A sampai Z, scraper dapat memanen isi kamus tanpa perlu mengetahui kata yang ingin dicari terlebih dahulu.
Halaman kamus menarik bagi scraper karena formatnya sudah rapi: satu kata, satu definisi, satu URL. Data seperti ini mudah dipanen dan berpotensi dipakai sebagai bahan data latih. Prosa riset berbeda. Isinya perlu dibaca utuh agar konteksnya tidak hilang.
Scraper Ini Tidak Datang Sekali Saja
Saya kemudian membandingkan ringkasan trafik harian pada 19 dan 20 Agustus 2026. Polanya masih terlihat:
| 19 Agustus 2026 | 20 Agustus 2026 | |
|---|---|---|
| Total request | 16.584 | 1.537 |
| Terdeteksi bot | 5.465 | 821 |
| Error 5xx, server kepayahan | 170 (1%) | 10 (0,7%) |
Pada malam 19 Agustus 2026, saya menemukan lapisan lain yang lebih sulit dikenali. Beberapa alamat IP mengirim 43 sampai 55 request per detik, jauh melampaui pola scraper dari server biasa.
Saat saya periksa dengan whois, alamat-alamat tersebut terhubung ke sejumlah ISP konsumen dan jaringan korporat di Indonesia, Malaysia, dan Amerika. Saya sengaja tidak menyebut nama providernya. Pemilik alamat IP itu belum tentu mengetahui bahwa koneksinya dipakai untuk scraping.
Indikasinya mengarah ke proksi residensial, yaitu layanan yang menyewakan bandwidth perangkat rumahan agar trafik otomatis terlihat seperti kunjungan dari pengguna biasa. Dalam kasus seperti ini, whois saja tidak cukup. Alamat IP-nya memang benar milik ISP konsumen.
Kalau alamat IP terlihat seperti milik pengguna biasa, laju request menjadi petunjuk yang lebih berguna daripada nama pemilik jaringannya.
Saat Bot Mengaku sebagai Googlebot
Di antara semua pola yang saya temukan, ada satu penyamaran yang dirancang agar terlihat lebih meyakinkan: bot yang mengaku sebagai Googlebot.
Banyak situs memberi perlakuan khusus kepada crawler yang mengaku sebagai Google. Misalnya, pembatasan laju dibuat lebih longgar agar proses pengindeksan tidak terganggu. Header User-Agent hanya berupa teks yang dikirimkan pengunjung kepada server. Isinya belum membuktikan siapa pengunjung tersebut.
Pada seri ketiga, saya akan menunjukkan cara memeriksa Googlebot asli dan palsu dengan perintah host. Pemeriksaannya menggunakan DNS, bukan hanya membaca User-Agent.
Pelajaran untuk Semua
Kalau kamu mengelola situs dengan konten terstruktur, seperti kamus, direktori, atau kumpulan artikel, periksa log server sesekali. Trafik tinggi tidak selalu berarti situs sedang populer.
- Bandingkan jumlah request dengan jumlah alamat IP dan User-Agent.
- Perhatikan URL yang paling sering diminta. Scraper biasanya meninggalkan pola yang sistematis.
- Jangan langsung mempercayai User-Agent yang mengaku sebagai Googlebot.
- Periksa laju request, terutama jika datang dari banyak IP berbeda.
Angka di artikel ini berasal dari log server ibahasa yang saya periksa pada 18 sampai 20 Agustus 2026. Semua bisa ditelusuri ulang dengan perintah whois dan host. Cara memeriksa Googlebot menjadi pembahasan di seri berikutnya.
Tinggalkan Balasan