Cara setting Robots.txt dengan benar

Halo sobat,bertemu kembali...kali ini saya akan posting dengan postingan yang berbeda dari postingan sebelumnya.Yang kali ini saya akan posting mengenai SEO berjudul Cara setting Robots.txt dengan baik dan benar.

Robots.txt adalah perintah yang digunakan untuk mengatur GoogleBot maupun SpiderBot untuk meng-index halaman dari suatu website.Hal ini sangat penting jika dalam web/blog kita terdapat data penting yang tidak boleh di index oleh mesin pencari.

Penting,jika sobat salah dalam mengatur Robots.txt akibatnya akan fatal namun jika disetting dengan benar akan meningkatkan kualitas web/blog sobat.



Oke kita langsung mulai saja...

1. Pertama masuk ke blogger
2. Masuk Setting-Preferensi Penelusuran
3. Lihat pada menu Perayap dan pengindeksan,klik edit pada robots.txt khusus

     4.Jangan lupa untuk mencentang tombol ya pada Enable custom robots.txt content?                  kemudian copy kode berikut pada kotak kosong

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://www.heroesman.blogspot.com/feeds/posts/default?orderby=UPDATED

NB : ganti kata heroesman.blogspot.com dengan alamat blog sobat

     5.Jika sobat tidak ingin meng-index halaman iklan maka tambahkan perintah Disallow:                   /ads dibawah Disallow: /search dan jika sobat tidak ingin meng-index halaman                           tentang saya tinggal memasukkan perintah Disallow: /about

Penting!!!

jangan pernah meletakkan hanya tanda / pada disallow,dapat berakibat blog/website sobat tidak dapat di index mesin pencari

     6.Jika ingin mengatur Robot Header Tags,baca selanjutnya ya...

• Dibagian menu Custom robots header tags. Klik edit.
• Pilih ya
• Akan muncul dialog box, samakan setingan seperti gambar dibawah ini

• Jika sudah klik Simpan perubahan

Memang pengaturan Robots.txt yang baik dapat mendongkrak SEO web kita dimata search engine,namun jika kita salah melakukan pengaturan pada Robots.txt maka search engine enggak mau meng-index blog sobat