Cara Mengatasi URL Yang Dicekal Robot.txt

Bagaimana cara mengatasi URL yang dicekal Robot.txt-Menghapus pencekalan URL robot.txt pada blog/website agar view situs tidak menurun. Karena jika di akun Google Webmasters tools terdapat URL yang di cekal robot.txt. Maka dampaknya adalah penurunan traffick blog. Untuk itu sangat perlu segera di perbaiki, apa bila tidak segera di perbaiki, akan berdampak buruk dalam traffick blog Anda. Seperti pengalaman Saya sendiri terhadapa visitor blog ini yang sempat mengalami penurunan. Tentu hal ini terjadi dikarenakan ada kesalahan pada blog ini.

Mengatasi URL yang dicekal Robot.txt  bagi blogger tentu ada yang belum bisa untuk menghapus URL blog yang dicekal Robot.txt karena 'g tahu apa itu "Robot.txt" terutama bagi yang baru ngeblog. Penurunan visitor blog dapat mengendurkan semangat untuk mengurusi blog. Tapi jika tahu penyebab turunnya visitor maka dapat juga buat pusing kepala. Serba salah iya... Hehhee... Mendingan tahu, apa 'g usah tahu gan...??. Kalau Saya mendingan tahu, kalau sudah tahu tinggal mengtasinya aja lagi...Oke, sebelum kita ke cara mengatasinya kita bahas dulu apa itu "Robots.txt". 

Robots.txt adalah file atau artikel pada situs Anda yang menunjukkan bagian dalam situs yang tidak Anda izinkan untuk diakses oleh perayap mesin pencari. File atau artikel menggunakan standar pengecualian robot, yang merupakan protokol dengan sekelompok kecil perintah yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan berdasarkan jenis perayap web tertentu. Jika kita tidak mengizinkan mesin pencari untuk mengakses blog kita, maka disitulah titik permasalahannya. Visitor berkurang karena sebagian artikel kita telah dicekal oleh Robot.Txt. Cara mengatasi dan memperbaiki URL yang di cekal oleh Robot.Txt, ikuti langkah-langkah di bawah ini.

1. Silahkan Anda berkunjung ke akun Google Webmaster terlebih dahulu. Klik pada "Kesehatan" kemudian Anda klik "URL yang dicekal" jika pada blog Anda terdapat URL yang dicekal Anda akan menemukan keterangan halaman seperti gambar di bawah ini.

2. Hilangkan tulisan "/search" pada "Disallow:".

Hasil akhirnya menjadi seperti ini :

User-agent: plazaonly-Google

Disallow:

User-agent: *

Disallow:

Allow: /

Sitemap: http://plazaonly.blogspot.com/feeds/posts/default?orderby=UPDATED

Setelah tulisan "/search" Anda hapus, copy kode tersebut kemudian klik "Kirim".

3. Kemudian login ke blog Anda, klik Setelan -> Preferense Penelusuran.

4. Pada kolom "Perayapan dan pengindeksan" pilih "Edit" di menu Robots.txt kemudian aktifkan Robots.txt Khusus. 

5. Pastekan kode Google Webmaster tadi yang telah dirubah (yang telah dihilangkan tulisan "/search). Kode yang Anda masukkan pada "Robots.txt Khusus" pastikan sudah Anda hilangkan tulisan "/seach" pada Disallow. Karena jika masih ada tulisan "/search" pada tulisan Disallow atau Disallow masih tertulis seperti ini "Disallow:/" masih ada garis miringnya saja, itu artinya Anda melarang Google untuk mengindeks konten blog Anda.

Untuk memastikan bahwa Google bot dapat merayapi blog kita. Silahkan fetch as Google (Ambil sebagai Google) dari akun webmaster tool Anda. Caranya disana ada 2 cara yaitu DEKSTOP dan MOBILE untuk fetch as Google. 

• Cara pertama DEKSTOP > Klik langsung FETCH (Ambil).

• Cara kedua MOBILE > isi kode ini pada bagian kotak kosong ?m=1 kemudian klik FETCH. 

Kemudian segeralah submit URL blog Anda lagi ke Webmaster tool supaya dirayapi lagi. Setelah 1 x 24 jam, blog Anda akan kembali normal seperti biasanya. 

Sekian artikel dari Saya tentang cara mengatasi URL yang di cekal robot.txt. Semoga dapat membantu Anda agar beberapa halaman yang tidak ditemukan pada situs Anda karena dicekal oleh robots.txt dapat teratasi dengan baik. Kita ketahui bahwa robots.txt ini bertujuan untuk memfilter URL untuk dirayapi atau tidak pada situs. Namun kita lupa mensettingnya di akun Google Webmaster.

Selamat Mencoba!.

 

SHARE: