Robot.txt adalah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.
Ada kalanya Google dan beberapa mesin pencari lainya tidak bisa merayapi seluruh artikel yang telah kita buat karena ada kesalahan setelan robot txt Anda. Hal ini akan memperlambat munculnya artikel di mesin pencari.
Kita bisa mengetahui URL yang dicekal melalui Webmaster tools. Google akan mengirim pesan apa bila terdapat kerusakan yang cukup serius di weblog kita. Jika Anda juga mendapat pesan peringatan, segeralah perbaiki situs/blog Anda.
Berikut cara memperbaiki URL yang di cekal oleh Robot.txt.
1. Login ke Blogger.com
2. Pilih Setelan > Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan,
4. Klik Edit di bagian kanan robots.txt khusus.
5. Masukan kode dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://bloganda.blogspot.com/feeds/posts/default?orderby=updated
Catatan: "ganti warna biru dengan URL blog anda"
6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.
Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs/weblog Anda.
