Menambahkan File Robots.txt di Blogger

Di salah satu postingan saya sebelumnya, saya telah membahas Setelan Tag Tajuk Robot Khusus Blogger(bahasa inggris: Custom Robots Header Tag Settings) untuk blogger. Jika Anda telah membaca postingan itu maka saya harap anda mengetahui pentingnya sebuah situs blog di peringkat pencarian.

Hari ini, saya kembali membahas tentang istilah blogging yang sangat berguna dan harus disadari yaitu Robots.txt.

Di blogger itu dikenal sebagai robots.txt khusus yang bisa Anda mengkustomisasi file ini sesuai pilihan Anda.

Dalam tutorial hari ini, kita akan membahas istilah ini secara mendalam dan mengetahui tentang penggunaan dan manfaatnya. Saya juga akan memberitahu Anda bagaimana menambahkan file robots.txt khusus di blogger.

Jadi mari kita mulai tutorialnya.

Apa itu Robots.txt?

Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Ini disimpan di server situs web atau blog yang menginstruksikan perayap web untuk mengetahui cara mengindeks dan merayapi blog Anda di hasil penelusuran. Itu berarti Anda dapat membatasi halaman web di blog Anda dari perayap web sehingga tidak dapat diindeks di mesin pencari seperti halaman label blog Anda, halaman demo atau halaman lain yang tidak penting untuk diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merayapi halaman web manapun.

Setiap blog yang di-host di blogger memiliki file robots.txt bawaannya yang terlihat seperti ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/sitemap.xml

Penjelasan

Kode ini dibagi menjadi tiga bagian. Mari kita pelajari dulu masing-masing setelah itu kita akan belajar cara menambahkan file robots.txt khusus di blogger.

User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka untuk menayangkan iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak hanya membiarkannya seperti apa adanya.

User-agent: *
Ini untuk semua robot yang ditandai dengan tanda bintang (*). Dalam setelan default, tautan label blog kami dibatasi untuk diindeks oleh perayap penelusuran yang berarti perayap web tidak akan mengindeks tautan label laman kami karena kode di bawah ini.

Disallow: /search

Itu berarti link yang memiliki kata kunci pencarian hanya setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan link dari halaman label bernama SEO.

https://rendyruslan.blogspot.com/search/label/SEO

Dan jika kita menghapus Disallow: /search dari kode di atas maka crawler akan mengakses keseluruhan blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya.

Disini Allow: / mengacu pada Homepage yang berarti crawler web bisa merangkak dan mengindeks homepage blog kita.

Disallow Particular Post
Sekarang anggaplah jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita bisa menambahkan baris di bawah kode.

Disallow: /yyyy/mm/post-url.html

Di sini yyyy dan mm mengacu pada tahun penerbitan dan bulan jabatan masing-masing. Misalnya jika kita telah menerbitkan sebuah posting di tahun 2013 di bulan Maret maka kita harus menggunakan format di bawah ini.

Disallow: /2013/03/post-url.html

Agar tugas ini mudah, Anda cukup menyalin URL posting dan menghapus nama blog dari awal.

Disallow Particular Page

Jika kita perlu melarang halaman tertentu maka kita bisa menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan hapus alamat blog dari situ yang akan terlihat seperti ini:

Disallow: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Kode ini mengacu pada sitemap blog kita. Dengan menambahkan sitemap link disini kita hanya mengoptimalkan tingkat crawling blog kita. Berarti setiap kali perayap web memindai file robots.txt, mereka akan menemukan jalan menuju peta situs kami di mana semua tautan dari pos terbitan kami ada. Perayap web akan mudah merayapi semua pos kami. Oleh karena itu, ada kemungkinan lebih baik perayap web merayapi semua entri blog kami tanpa mengabaikan satu pun.

Catatan: Peta situs ini hanya akan memberi tahu perayap web tentang 25 entri terakhir. Jika Anda ingin meningkatkan jumlah link di sitemap Anda maka ganti sitemap default dengan dibawah satu. Ini akan bekerja untuk 500 posting terakhir.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting yang dipublikasikan di blog Anda, maka Anda dapat menggunakan dua peta situs seperti di bawah ini:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Menambahkan robots.txt khusus ke Blogger

Sekarang bagian utama dari tutorial ini adalah cara menambahkan custom robots.txt di blogger. Jadi di bawah ini adalah langkah untuk menambahkannya.

Pergi ke blog blogger anda.
Navigasikan ke Setelan > Preferensi Penelusuran > Perayap dan pengindeksan > robots.txt khusus > Edit > Ya



Sekarang tempelkan kode file robots.txt Anda ke dalam kotak atau copy robot.txt dibawah ini.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://namabloganda.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 
Sitemap: https://namabloganda.blogspot.com/feeds/posts/default?orderby=updated
Sitemap: https://namabloganda.blogspot.com/sitemap.xml

Klik tombol Simpan perubahan.
selesai!

Catatan: ganti namabloganda dengan alamat blog anda

Bagaimana memeriksa berkas robots.txt Anda?

Anda bisa mengecek file ini di blog Anda dengan menambahkan /robots.txt akhirnya ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk demo.

https://rendyruslan.blogspot.com/robots.txt

Setelah Anda mengunjungi URL file robots.txt, Anda akan melihat keseluruhan kode yang Anda gunakan di file robots.txt khusus Anda. Lihat gambar di bawah ini.