Robot..txt

Cara Menggunakan Robot.txt – dengan menggunakan robot.txt anda dapat meningkatkan kualitas seo blog Anda. Setting Plugin KB robot.txt Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex blog Anda. Robot.txt akan membatasi robot crawling  Google untuk mengindex halaman/URLblog anda. Misalnya adalah http://informasi-teknologi.com/page/1 dan http://informasi-teknologi.com/page/2 di kedua link tersebut terdapat kesamaan. Hal ini bisa di baca search engine sebagai duplikat konten. Cara membuat robot.txt Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses blog kita.

Cara Menggunakan Robot.txt

Membuat robots.txt di blog wordpress dengan selft hosting tidaklah susah. Anda bisa membuat robots.txt dengan sebuah text editor misalnya Notepad. Setelah itu disimpan dengan ekstensi .txt, file robots.txt tersebut kemudian mesti di upload ke directory public_html pada webhosting. Namun, cara membuat robots.txt dengannotepad dan menguploadnya sendiri ke web hosting mungkin cukup sulit dilakukan oleh sebagian orang. Untuk itu, agar lebih mudah dalam membuat robots.txt, Anda bisa menggunakan sebuah plugins wordpress. Nama plugins tersebut adalah KB Robots.txt.

Untuk membuat robots.txt pada blog wordpress.org pertama-tama Anda mesti menginstall plugin KB Robots.txt terlebih dahulu. Berikut caranya:

1. Pada Dashboard blog Anda klik Plugins » Add New Plugins
2. Di kotak pencarian plugins, ketik KB Robots.txt dan klik search
3. Kemudian klik install pada KB-Robots.txt yang muncul pada halaman hasil cari tadi.
4. Klik install Now pada jendela instalasi yang muncul.
5. Setelah selesai menginstall plugin, klik tulisan Activate Plugins untuk mengaktifkan plugins.

Poses instalasi plugins KB Robots.txt telah selesai. Kini saatnya Anda memasukkan kode robots.txt melalui setting plugins tersebut. Untuk itu ikuti langkah-langkah berikut:

1. Masih pada dashboard blog, klik menu Setting » KB Robots.txt.

2. Selanjutnya, ketik kode berikut pada editor yang ada pada jendela setting:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.informasi-teknologi.com/sitemap.xml

Untuk sitemap yang ada pada baris terakhir, silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/sitemap.xml. Jika belum mempunyai sitemap, silahkan baca panduan cara membuat sitemap untuk search engine.

3. Terakhir klik tombol Submit untuk menyimpan robots.txt Anda.

Sekarang pembuatan robots.txt telah selesai. Untuk memeriksa apakah robots.txt sudah terbuat dengan benar, Anda bisa memeriksanya dengan mengetikkan URLblog/robots.txt. Contohnya untuk blog ini, http://www.informasi-teknologi.com/robots.txt. Informasi Teknologi, Jika hasilnya sama dengan kode yang Anda ketik tadi berarti robots.txt Anda telah benar dan terpasang dengan baik.

Sekian tutorial cara membuat robots.txt pada blog wordpress. Semoga bermanfaat.