Mencegah Website Terindeks Search Engine – Pada tutorial kali ini saya akan memberikan tutorial tentang bagaimana cara mencegah website terindeks search engine. Karena sesuatu hal terkadang kita ingin agar website kita tidak terindex oleh google atau mesin pencari lainnya yaitu dengan membuat file robots.txt. Hal ini diperlukan misalnya ketika kita sedang dalam proses pembuatan website, atau karena ingin menyembunyikan folder/file tertentu agar orang lain tidak bisa menemukannya melalui mesin pencari.
Cara ini bisa anda gunakan untuk anda pengguna wordpress maupun platform blog lainnya seperti blogger, joomla dsb. Karena untuk mencegah website terindeks search engine kita hanya perlu mengubah script di robots.txt. Yang mana robots txt ini tersedia disemua platform blog karena robots tersebut merupakan aturan dasar yang diterapkan oleh google untuk para blogger yang ingin menampilkan situs mereka di mesin pencari. Tidak hanya google, mesin pencari yang lain seperti BING, YAHOO pun menerapkan hal yang sama.
Mencegah Website Terindeks Search Engine
Caranya anda buat file robots.txt di root folder website anda dan isi dengan command sesuai keinginan anda, sebagai contoh:
1. Command ini berfungsi untuk mencegah semua jenis bot (program) dari mesin pencari untuk mengindex semua file anda (root dan turunannya).
User-agent: * Disallow: /
2. Command ini berarti mencegah semua jenis bot mesin pencari untuk mengindex semua file yang berada di folder administration
User-agent: * Disallow: /administration/
3. Command ini berarti mencegah bot dari google ntuk mengindex semua file anda (root dan turunannya).
User-Agent: googlebot Disallow: /
4. Command ini berarti mencegah bot dari google ntuk mengindex semua file gambar anda (root dan turunannya).
User-agent: Googlebot-Image Disallow: /
5. Command ini berarti mencegah semua jenis bot mesin pencari kecuali google untuk mengindex semua file yang berada di folder root dan turunannya, bot dari google boleh mengindex kecuali untuk folder cgi-bin dan privatedir
User-agent: * Disallow: / User-agent: Googlebot Disallow: /cgi-bin/ Disallow: /privatedir/
6. Command ini berarti mencegah semua jenis bot mesin pencari untuk mengindex semua file yang berada di folder root dan turunannya, tetapi utk bot alexa (ia_archiver) diperbolehkan, karena disallow nya dikosongkan yang fungsinya spt tombol on/off
User-agent: * Disallow: / User-agent: ia_archiver Disallow:
Dari beberapa command diatas, anda bisa gunakan salah satu yang sesuai dengan keinginan anda.
Demikian tutorial singkat Mencegah Website Terindeks Search Engine. Jika ada yang ingin ditanyakan silahkan tinggalkan komentar dibawah ini.
