Penggunaan robot.txt pada web atau blog

teknik seo

Fungsi Robots.txt

Dalam beberapa kasus penggunaan robots.txt mungkin tampak tidak efektif. File ini ada karena suatu alasan, bagaimanapun, ini adalah hal penting untuk SEO pada halaman.
Berikut ini adalah beberapa fungsi dari penggunaan robots.txt
  1. Untuk mencegah crawler dari mengunjungi folder pribadi.
  2. Untuk menjaga robot dari menelusuri konten yang kurang penting pada sebuah situs web. Ini memberikan mesin pencarian lebih banyak waktu untuk menjelajah isi penting yang dimaksudkan untuk ditampilkan dalam hasil pencarian.
  3. Untuk mengizinkan hanya bot khusus yang menjelajah situs Anda. Ini dapat menghemat bandwidth.
  4. bots akan meminta file robots.txt secara default. Jika bots tidak menemukan file tersebut maka akan melaporkan error 404, yang akan Anda temukan dalam file log. Untuk menghindari ini, Anda setidaknya harus menggunakan robots.txt default, yaitu file robots.txt kosong.
  5. Untuk memberikan bot lokasi peta situs Anda. Untuk melakukan ini, masukkan direktif dalam robots.txt yang mencakup lokasi peta situs Anda:
    Sitemap: http://situsanda.com/lokasi-sitemap.xml
    Anda dapat menambahkan ini di mana saja di file robots.txt. Yang harus Anda lakukan adalah menentukan lokasi peta situs Anda di bagian sitemap-location.xml dari URL. Jika Anda memiliki beberapa peta situs, Anda juga dapat menentukan lokasi file indeks peta situs Anda.

Contoh file Robots.txt
Ada dua unsur utama dalam berkas robots.txt: User-agent dan Disallow.

User-agent: User-agent yang paling sering diwakili dengan tanda wildcard (*) menandakan bahwa instruksi tersebut untuk memblokir semua bot . Jika Anda ingin bot tertentu yang akan diblokir atau diizinkan pada halaman tertentu, Anda dapat menentukan nama bot dibawah direktif user-agent.

Disallow: Ketika Disallow tidak ada yang ditentukan, itu berarti bahwa bot bisa merangkak semua halaman di situs anda. Untuk memblokir halaman tertentu Anda harus menggunakan hanya satu URL awalan per Disallow. Anda tidak dapat menyertakan beberapa folder atau awalan URL di bawah elemen Disallow dalam robots.txt.

Berikut ini adalah beberapa penggunaan umum dari file robots.txt.

Untuk memungkinkan semua bot untuk mengakses seluruh situs (robots.txt standar) berikut ini contohnya.
User-agent: *
Disallow:
Untuk memblokir seluruh server dari bot, gunakan robots.txt ini
User-agent: *
Disallow: /
Untuk memungkinkan sebuah robot tunggal dan melarang robot lainnya:
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
Untuk memblokir situs dari robot tunggal:
User-agent: XYZbot
Disallow: /
Untuk memblokir beberapa bagian dari situs:
User-agent: *
Disallow: / tmp /
Disallow: / junk /
Gunakan robots.txt ini untuk memblokir semua konten dengan jenis file tertentu. Dalam contoh ini semua file Powerpoint. (CATATAN: ($) tanda dolar menunjukkan akhir baris.
User-agent: *
Disallow:. * Ppt $
Untuk memblokir bot dari file tertentu:
User-agent: *
Disallow: / direktori / file.html
Menelusuri dokumen HTML tertentu dalam sebuah direktori yang diblokir dari bot Anda. Sebagian besar crawlers mendukung Izinkan direktif dalam robots.txt. Contoh seperti di bawah ini:
User-agent: *
Disallow: / folder /
Allow: / folder1/myfile.html
Untuk memblokir URL yang mengandung string pencarian tertentu yang dapat mengakibatkan duplikat konten, robots.txt seperti (?) Dalam hal ini, setiap URL yang mengandung tanda tanya akan diblokir:
User-agent: *
Disallow: / *?
Demikian tulisan tentang robot txt, semoga bermanfaat.
Selanjutnya
« Sebelumnya
Sebelumnya
Selanjutnya »