Robots.txt/medikre.com

Membuat, Mensetting, Robot TXT di Wordpress dan WEB - Oke bagi temen-temen yang punya web atau blog baik itu bikinan sendiri atau dari cms tentunya sebagai seorang blogger atau web master kebanyakan pasti sudah tau apa itu robots.txt dan apa fungsinya, tetapi disini saya akan jelaskan kalo belum tau apa itu robots.txt, lengkap dengan cara membuat dan cara settingnya. robots.txt adalah sebuah file yang ada di direktori akar suatu situs yang berguna mengatur perizinan mesin perayap (bot crawler) seperti google bot. maksudnya ini berfungsi untuk memperbolehkan mana yang boleh di index ataupun yang tidak boleh di index oleh bot crawler.

lebih sederhananya robots.txt berguna untuk memblokir url atau file-file (misal: gambar dsb.) agar tidak muncul dimesin telusur. file ini sangat erat hubungannya dengan search engine. kenapa? karena pada saat “mesin perayap” merayapi suatu website, file yang pertama kali yang dikerayapi adalah file tersebut.

oiya ini juga bisa di gunakan untuk mencegah bot crawler mengindex celah suatu website loh. bagaimana caranya? simak artikel ini sampai selesai yah.

Membuat file Robot TXT

sekarang saatnya membuat filenya untuk dipasang di web. sebelumnya ada beberapa cara yang bisa digunakan untuk membuatnya. yaitu:

membuat melalui plugin (misal: plugin wordpress) ini biasanya bagi temen-temen yang membuat web dari CMS Wordpress kita bisa install plugin yang tersedia di wordpress contohnya plugin yoast seo.

Untuk membuat secara manual ini biasaya bagi temen-temen yang membuat web dari hasil rancangan sendiri atau tanpa CMS biasanya pengembangan webnya menggunakan framework atau php native.

Cara dengan plugin pada wordpress

#1 pertama jika menggunakan plugin, untuk disini admin menggunakan plugin YOAST SEO. caranya: masuk ke dashboard wordpress dulu lalu pilih Dashboard -> SEO -> Alat selanjutnya tinggal pilih buat/create file robots.txt nya.

Cara Manual 

#2 kedua kalo secara manual yaitu melalui Cpanel. agar lebih mudah buat file nya dulu nanti tinggal upload di cpanel (public_html). caranya: buka file editor kesayangan sobat (bisa dengan notepad++ / notepad dsb.) pilih New File lalu isi dengan setting yang di inginkan. (kalo belum tau cara setting nya lihat cara setting dibawah). kalo sudah selesai simpan dengan nama “robots.txt” tanpa tanda petik yah. lalu upload di direktori akar web (public_html).

Cara Setting Robots.txt

Keterangan:

User-agent: untuk menentukan jenis bot crawler (robot perayap)
Allow: untuk mengizinkan bot crawler mengakses direktori yang diperbolehkan
Dissallow: menolak bot crawler agar tidak mengakses direktori yang dilarang
sitemap: url sitemap web sobat misal: https://www.almangox.com/sitemap.xml

Catatan: untuk sitemap kalo menggunakan plugin yoast SEO biasanya berada di http://situsanda.com/sitemap_index.xml

sekian semoga bermanfaat! mohon bantu share jika sobat merasa terbantu 🙂 .