Trik Memaksimalkan Perayapan Robot Blogspot

Pada dasarnya robots.txt khusus di blogger memang tidak perlu di ubah ubah dengan tujuan agar search engine dapat merayapi blog kita dengan mudah. Namun bagaimana dampaknya jika anda salah setting robot blog anda? salah satunya adalah search engine akan mengabaikan konten yang pernah anda buat di blog anda. ngeri juga bukan kalau anda secara tidak sengaja merubah setingan default dari robotnya.

Tugas robot di blog adalah memberi arahan dan larangan terhadap google-bot (robot milik google) untuk memfilter apa saja yang boleh di indek/dirayapi. Pengalaman saya pernah salah edit settingan robot, dampak salah satunya, biasanya pageview dalam 1 hari bisa mencapai kurang lebih 2K namun setelah saya rubah hanya sekitar 1K sampai 1.2K. semoga pengalaman saya tidak menimpa blogger lain nya.

Karena saya pernah membaca banyak sumber di blogger lain tentang kinerja robot blog di tambah dengan beberapa pengalaman kesalahan yang pernah saya lakukan, maka sedikit banyak saya mengetahui cara memaksimalkan kinerja Robot blogger. 
kalautau.com - Trik Memaksimalkan Perayapan Robot Blogspot

Trik Memaksimalkan Perayapan Robot Blogspot

Sebelum kita cari tau cara memaksimalkan kinerja robot blog, alangkah baiknya Check Robot milik anda terlebih dahulu dengan menambahkan robots.txt di halaman url blog anda. sebagai contoh 
http://www.kalautau.com/robots.txt
 Bentuk default dari robot yang belum di rubah adalah seperti di bawah ini,
User-agent: Mediapartners-Google
Disallow: User-agent: *
Disallow: /search
Allow: / Sitemap: http://www.kalautau.com/sitemap.xml
Maksud Konfigurasi di atas adalah
Mediapartners-Google = Blog anda merupakan partner dari google Disallow: = memperbolehkan robot menelusuri semua yang ada di blog. User-agent: * = Semua robot mesin pencari Allow: / = memperbolehkan perayapan semua yang ada diblog anda. Disallow: /search = tidak memperbolehkan perayapan search artinya melarang untuk merayapi tautan.../search seperti search/label, search/search?updated dan lain lain Sitemap: http://www.kalautau.com/sitemap.xml Perayapan peta situs blog.

Arti memaksimalkan perayapan robot 

adalah Membantu mempercepat perayapan dengan membatasi apa saja yang di ijinkan untuk di telusuri serta membatasi beberapa hal agar robot tidak mengindex.

sebagai contoh kasus 

disaat blog anda memiliki 100 tautan dalam 1 halaman, biasanya robot akan mengabaikan beberapa perayapan tautan anda,  dari 100 tautan mungkin hanya 20% tautan saja yang berhasil di rayapi robot selebihnya di abaikan.

nah untuk mempercepat perayapan robot, saya hanya membatasi/memfilter beberapa tautan agar tautan yang di rekam robot lebih maksimal dan sesuai dengan keinginan saya untuk di indek.
Dalam hal ini saya hanya ingin robot merayapi, gambar, tautan dan konten blog dengan melarang robot merayapi halaman/page blog saya.
User-agent: Mediapartners-Google
Disallow:
Disallow: /search
Disallow: /p/video.html
Disallow: /p/template.html
Disallow: /p/daftar-isi.html
User-agent: Googlebot
Disallow: /search
Disallow: /p/video.html
Disallow: /p/template.html
Disallow: /p/daftar-isi.html
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /
User-agent: Adsbot-Google
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /
User-agent: *
Disallow: /search
Disallow: /?m=0
Disallow: /?m=1
Allow: /
Sitemap: http://www.kalautau.com/sitemap.xml
Maksud dari setingan robot di atas.
Mediapartners-Google = Blog merupakan Partner dari google Disallow: = memperbolehkan robot menelusuri semua yang ada di blog. ------------------------------------ Disallow: /search Disallow: /p/video.html Disallow: /p/template.html Disallow: /p/daftar-isi.html = Tidak memperbolehkan robot menelusuri halaman yang saya miliki. ------------------------------------- Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.gif = Memperbolehkan robot menelusuri Gambar yang ada di blog saya. ------------------------------------- User-agent: Adsbot-Google = Bertugas untuk melakukan cek pada nilai rank halaman atau halaman landas kita yang biasa disebut sebagai pagerank. dan perayap ini juga mengatur laman teratas blog atau website kita. ------------------------------------- User-agent: * = Memperbolehkan Semua robot mesin pencari Allow: / = Memperbolehkan perayapan semua yang ada diblog anda. Disallow: /search = Tidak memperbolehkan perayapan search artinya melarang untuk merayapi tautan.../search seperti search/label, search/search?updated dan lain lain Sitemap: http://www.kalautau.com/sitemap.xml Perayapan peta situs blog. 
Penting : Jika anda ragu untuk merubah setingan robot blog anda, lebih baik jangan menggunakan setingan robot milik saya.

13 komentar untuk "Trik Memaksimalkan Perayapan Robot Blogspot"

  1. assalamualaikum ... salam kenal mas/mba admin.
    ini nih yang kudu ane perhatikeun. ilmu blog.
    mau dong supaya perayapan robot blogspot maksimal.
    berarti pengunjung pun berkesempatan makin banyak yah ?

    perlu dicoba .. terimakasih sudah beragi ilmu.

    BalasHapus
    Balasan
    1. Setingan Robot di atas hanya untuk membantu mempercepat perayapan robot mas agar lebih masksimal perayapan nya, kalau mengenai pengunjung semakin bertambah ada banyak hal yang mempengaruhi, diantaranya niche yang di bahas.

      Hapus
    2. kalau ingin pengunjungnya banyak, buat artikel yg bayak ya gan!

      Hapus
    3. mengenai artikle yang banyak untuk menambah visitur itu ukurannya relatif mas, kalau artiklenya banyak namun kurang bermanfaat, apa bisa di katakan bisa menambah visitor. terkecuali artikle mas dzaki dewan memiliki artikle yang berada di page 1 google, saya yakin blog mas dzaki kebanjiran visitor.

      Hapus
  2. Masih kurang begitu paham sih mas :D
    Hehehehe...
    Padahal banyak manfaatnya.

    BalasHapus
    Balasan
    1. silahkan di tanyakan mas, yang belum paham siapa tau saya bisa membantu

      Hapus
  3. Jujur saja saya kurang mengetahui tentang apa kinerja robot ini mas dan saya pun belum pernah merubah sesuatu dari Blog. Mungkin pengalaman saya belum cukup untuk mengetahui lebih jauh tentang ini :)

    BalasHapus
    Balasan
    1. kalau mas effendy suka memakai yang default/bawaan standard dari blogger nggak apa apa mas, cari aman saja. tapi di saat google webmaster mendeteksi Duplicate meta descriptions, Duplicate title tags atau dan lain lain. maka mas effendy akan memerlukan robot khusus untuk menghindari beberapa hal yang saya sebutkan di atas tadi. :D

      Hapus
  4. kalo cepat merayapi robotnya itu artinya apa mas.
    apa bisa menjadikan blog kita lebih di sukai oleh mesin?

    BalasHapus
    Balasan
    1. Bisa di katakan lebih di sukai mesin pencari. seperti pengalaman yang saya amati. misal dalam blog mas Mangs Aduls terdapat banyak widget dan lebih dari 10 tautan/link. dari semua konten yang ada di blog mas Mangs Aduls mungkin hanya 20% saja yang berhasil di rayapi robot selebihnya di abaikan. fungsi dari mempercepat perayapan adalah membantu robot untuk mempercepat perayapan/pengindekan terhadap apa yang di ijinkan robot untuk di telusuri.

      Hapus
  5. Kalau tau saya yang tanya dig+ masalah robot.txt seandenya mau pake robot seperti dipostingan anda itu penerapane dipengaturan blog kah atau diwebmasternya

    BalasHapus
    Balasan
    1. Saya sarankan di setingan blog dan di webmaster mbak, agar webmaster lebih cepat menerima pembaharuan robot dari blog kita. Butuh sekitar 14 hari agar artikle yg sudah terindex di search engine bisa berubah.

      Hapus
  6. Nah... Akhirnya dibuka juga serba serbi robot Google sama Mas Fend.

    Berawal dr coba-coba, saya dulu juga pernah mengalaminya. Sampai pd SE tertulis "Deskripsi tidak tersedia karena robot bla bla bla...."

    Setelah itu, gak berani utak atik robot yg terlalu modified dr Blogger.hhe

    Nice Experience (y)

    BalasHapus

Posting Komentar

Bebas Berkomentar asal Sopan ya