Advertisemen
Robot.txt, bagi penggiat blogger yang menggunakan wordpress
pasti sudah familiar dengan robot.txt ini. Tapi pengguna blogger bisa
jadi hal ini masih merupakan hal baru. Kali ini kita akan membahas apa
itu robot.txt dan apa fungsinya secara sederhana dan mudah dipahami. :D
Robot.txt dalam penjelasan sederhananya adalah alat untuk memberitahukan mensin crawler / pencari
apa yang boleh dan tidak di index olehnya, dalam kata lain robot.txt
ini merupakan search preference untuk mesin crawler / pencari. Justru
semakin banyak yang dindex mesin pencari semakin baik? Tentu, tapi yang
ingin dicegah disini adalah duplikasi index sebuah content yang dapat
mengakibatkan adanya search preference yang mengarah pada label atau
hanya archive blog yang seharusnya langsung mengarah ke posting atau
content yang relevan dengan keyword yang dicari.
Pada dasarnya semua blog sudah memiliki system robot.txt ini, ditandai dengan adanya fitur pembagian label yang di fasilitasi blogger tapi dirasa masih kurang maksimal. Untuk memaksimalkannya blogger akhirnya memberikan fitur robot.txt ini, yang sebelumnya sudah di gunakan di wordpress.
Cara menggunakan robot.txt ini :
Untuk lebih jelasnya mari kita urai setiap fungsi dari isi robot.txt tersebut. Kelompok baris robot.txt yang pertama merupakan informasi user agen milik google menandakan bahwa blog merupakan partner google, ini menguntungkan untuk Anda yang ingin menggunakan jasa google adsense agar iklan yang tampil nantinya relevan dengan isi blog Anda, juga untuk memberitahukan bahwa website / blog kita bisa diakses oleh mesin mencari.
Kelompok baris kedua merupakan informasi untuk semua mesin crawler search engine. Disana ada Disallow: /search yang artinya mesin crawler dilarang mengindex page label atau archive yang memank sebaiknya tidak di index untuk mencegah duplikasi hasil pencarian.
Kelompok baris ketiga berisi sitemap blog agar mesin crawler lebih mudah mngindex blog / website Anda.
Sekian untuk setting robot.txt, tetap semangat blogging.
Pada dasarnya semua blog sudah memiliki system robot.txt ini, ditandai dengan adanya fitur pembagian label yang di fasilitasi blogger tapi dirasa masih kurang maksimal. Untuk memaksimalkannya blogger akhirnya memberikan fitur robot.txt ini, yang sebelumnya sudah di gunakan di wordpress.
Cara menggunakan robot.txt ini :
- Masuk Dashboard (dashboard)
- Pilih Setelan (setting)
- Pilih Referensi Penelusuran (site preferences)
- Edit robot.txt khusus (custom robot.txt) yang berada pada bagian bawah
- Isi dengan :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://be-fals.blogspot.com/feeds/posts/default?orderby=UPDATED - Ganti be-fals dengan nama blog Anda.
- Simpan
Untuk lebih jelasnya mari kita urai setiap fungsi dari isi robot.txt tersebut. Kelompok baris robot.txt yang pertama merupakan informasi user agen milik google menandakan bahwa blog merupakan partner google, ini menguntungkan untuk Anda yang ingin menggunakan jasa google adsense agar iklan yang tampil nantinya relevan dengan isi blog Anda, juga untuk memberitahukan bahwa website / blog kita bisa diakses oleh mesin mencari.
Kelompok baris kedua merupakan informasi untuk semua mesin crawler search engine. Disana ada Disallow: /search yang artinya mesin crawler dilarang mengindex page label atau archive yang memank sebaiknya tidak di index untuk mencegah duplikasi hasil pencarian.
Kelompok baris ketiga berisi sitemap blog agar mesin crawler lebih mudah mngindex blog / website Anda.
Sekian untuk setting robot.txt, tetap semangat blogging.
Advertisemen
Tutorial