Contoh Fail Robots.txt Lengkap dan Analisa Keberkesanannya

Berikut adalah contoh fail robots.txt lengkap beserta analisa keberkesanannya untuk mengawal perayapan bot mesin pencari dengan efektif:

User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /images/
Disallow: /forum/
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Penjelasan dan Analisa Keberkesanan:

• User-agent: *
  Menandakan arahan ini untuk semua bot mesin pencari tanpa terkecuali.

• Disallow: /wp-admin/, /checkout/, /images/, /forum/
  Melarang bot merayapi folder atau halaman tertentu yang biasanya tidak perlu diindeks, seperti panel admin, halaman pembayaran, direktori imej yang mungkin besar dan tidak relevan untuk SEO, serta forum yang mungkin mengandungi kandungan kurang berkualiti atau spam. Ini membantu mengurangkan beban crawling dan mengelakkan pengindeksan kandungan yang tidak diingini.

• Allow: /
  Memberi kebenaran kepada bot untuk merayapi semua bahagian lain laman web yang tidak dilarang secara spesifik. Ini memastikan kandungan utama laman web tetap dapat diindeks dengan baik.

• Sitemap: https://www.example.com/sitemap.xml
  Menunjukkan lokasi fail sitemap kepada bot, memudahkan mereka untuk menemui dan merayapi semua halaman penting laman web secara sistematik.

Keberkesanan Fail Robots.txt Ini:

• Mengawal akses bot dengan tepat
  Dengan melarang direktori yang tidak perlu diindeks, fail ini mengelakkan pembaziran sumber crawling oleh bot dan mengurangkan risiko pengindeksan kandungan yang tidak relevan atau sensitif.

• Memastikan kandungan utama diindeks
  Arahan Allow: / memastikan bot dapat merayapi dan mengindeks halaman penting, meningkatkan peluang laman web muncul dalam hasil carian.

• Mematuhi standard lokasi dan format
  Fail robots.txt mesti diletakkan di root domain (contoh: https://example.com/robots.txt) agar bot dapat mengesannya dengan betul.

• Mengelakkan kesilapan konfigurasi
  Fail ini mengelakkan kesilapan umum seperti tiada user-agent, arahan tidak sah, atau pola yang salah yang boleh menyebabkan bot tidak merayapi laman web dengan betul.

Nota Tambahan:

• Fail robots.txt tidak boleh digunakan untuk menyembunyikan kandungan sensitif secara keselamatan kerana ia hanya arahan kepada bot yang patuh; bot jahat mungkin mengabaikannya.

• Untuk menghalang kandungan daripada muncul dalam hasil carian, gunakan tag noindex dalam meta HTML atau header HTTP, bukan hanya robots.txt.

• Sentiasa uji fail robots.txt anda menggunakan alat seperti Google Search Console untuk memastikan tiada ralat dan arahan berfungsi seperti yang diharapkan.

Dengan contoh dan prinsip ini, anda boleh membina fail robots.txt yang lengkap dan berkesan untuk mengawal perayapan bot serta meningkatkan prestasi SEO laman web anda.