Struktur Fail Robots.txt dan Sintaks Arahan

Struktur fail robots.txt terdiri daripada beberapa blok arahan utama yang mengawal akses bot enjin carian ke laman web. Struktur asasnya termasuk:

• User-agent: Menentukan bot atau enjin carian yang arahan berikutnya terpakai kepadanya. Contohnya, User-agent: * bermaksud arahan untuk semua bot.
• Disallow: Menetapkan folder atau halaman yang tidak dibenarkan diakses oleh bot tersebut. Contohnya, Disallow: /admin/ melarang akses ke direktori /admin/.
• Allow: Memberi kebenaran untuk mengakses subfolder atau halaman tertentu walaupun direktori induk disekat. Contohnya, Allow: /public/.
• Sitemap: Menyatakan URL peta tapak (sitemap) laman web untuk membantu bot memahami struktur laman. Contohnya, Sitemap: https://website.com/sitemap.xml.

Fail ini juga boleh mengandungi komen yang bermula dengan simbol # untuk memberi penjelasan tanpa mempengaruhi arahan bot.

Sintaks arahan dalam robots.txt adalah ringkas dan mesti tepat untuk memastikan bot enjin carian dapat memahaminya dengan betul:

• Setiap blok arahan bermula dengan User-agent: [nama-bot].
• Diikuti dengan satu atau lebih arahan Disallow: [laluan] atau Allow: [laluan].
• Laluan yang digunakan mesti bermula dengan / dan merujuk kepada struktur URL laman web.
• Baris komen bermula dengan # dan diabaikan oleh bot.
• Direktif Sitemap: biasanya diletakkan di luar blok User-agent untuk menunjukkan lokasi peta tapak.

Contoh fail robots.txt yang betul:

User-agent: *
Disallow: /admin/
Disallow: /private.html
Allow: /public/
Sitemap: https://website.com/sitemap.xml

Kesalahan sintaks biasa yang perlu dielakkan termasuk:

• Tidak meletakkan fail robots.txt di direktori root laman web.
• Kesalahan dalam penulisan User-agent seperti ejaan yang salah.
• Laluan dalam Disallow atau Allow yang tidak bermula dengan / atau format yang salah.
• Menggunakan URL penuh dalam arahan Disallow atau Allow (hanya laluan relatif dibenarkan).
• Tidak menggunakan simbol # untuk komen dengan betul.
• Menggunakan arahan yang sudah tidak disokong atau salah seperti Noindex dalam robots.txt.

Untuk memastikan fail robots.txt bebas ralat, gunakan alat pengesah (validator) robots.txt yang tersedia secara dalam talian sebelum memuat naik ke server.

Ringkasan:

Struktur dan sintaks yang betul memastikan kawalan yang tepat terhadap aktiviti crawling bot dan membantu meningkatkan pengurusan SEO laman web anda.