File robots.txt adalah garis pertahanan pertama Anda untuk mengontrol bagaimana mesin pencari menelusuri website Anda — meskipun hanya berisi beberapa baris teks.
Pengertian Robots.txt
Robots.txt adalah file teks biasa yang ditempatkan di root directory website Anda (contoh: https://namadomain.com/robots.txt). File ini menggunakan standar Robots Exclusion Protocol (REP) untuk memberikan instruksi kepada web crawler tentang halaman atau direktori mana yang boleh dan tidak boleh diakses.
Perlu dipahami: robots.txt bukanlah mekanisme keamanan. Crawler yang baik seperti Googlebot akan menghormatinya, namun crawler berbahaya atau tidak resmi mungkin mengabaikannya. Jangan simpan informasi sensitif di halaman yang hanya "diblokir" oleh robots.txt.
Sintaks Dasar
File robots.txt menggunakan format yang sangat sederhana:
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /public/ User-agent: Googlebot Allow: /
- User-agent: Menentukan crawler yang menjadi target instruksi. Tanda bintang (*) berarti berlaku untuk semua crawler.
- Disallow: Melarang crawler mengakses path yang ditentukan.
- Allow: Mengizinkan akses ke path tertentu, bahkan jika direktori induknya diblokir.
Kesalahan Umum yang Harus Dihindari
Berikut adalah beberapa kesalahan yang sering dilakukan pemilik website:
- Memblokir seluruh website secara tidak sengaja. Menulis
Disallow: /akan mencegah semua crawler mengindeks website Anda. Ini sering terjadi pada tahap development namun lupa dihapus sebelum live. - Memblokir file CSS dan JavaScript penting. Google perlu dapat mengakses aset ini untuk merender dan memahami halaman Anda dengan benar.
- Menganggap robots.txt menyembunyikan konten. URL yang di-disallow masih bisa muncul di hasil pencarian jika ada situs lain yang menautkannya.
Cara Menggunakan Robots.txt Generator
Membuat robots.txt dari nol bisa membingungkan, terutama jika Anda perlu mengizinkan crawler tertentu dengan aturan yang berbeda. Gunakan tool gratis kami — Robots.txt Generator — untuk membuat file robots.txt yang valid secara visual tanpa perlu hafal sintaksnya.
Kesimpulan
File robots.txt yang dikonfigurasi dengan benar adalah bagian penting dari setup technical SEO. Pastikan Anda secara rutin memeriksa file ini setelah setiap pembaruan besar pada struktur website, dan selalu verifikasi menggunakan Google Search Console agar tidak ada halaman penting yang terblokir secara tidak sengaja.