Pengenalan Kepada Robots.txt

Robots.txt adalah sebuah fail teks ringkas yang berfungsi sebagai alat komunikasi antara laman web dengan bot mesin pencari (crawler). Fail ini mengandungi arahan yang memberitahu bot bahagian mana dalam laman web yang dibenarkan atau tidak dibenarkan untuk diakses dan diindeks oleh mesin pencari.

Fail robots.txt biasanya diletakkan di direktori root laman web dan merupakan sebahagian daripada Robots Exclusion Protocol (R.E.P). Bot mesin pencari akan mencari dan membaca fail ini terlebih dahulu sebelum merayapi laman web atau mengakses peta laman (sitemap).

Fungsi utama robots.txt adalah:

• Mengawal bagaimana bot mesin pencari merayapi laman web.
• Menghalang bot daripada mengakses halaman atau folder tertentu yang sensitif atau tidak relevan.
• Membantu mengoptimumkan proses pengindeksan dengan mengarahkan bot ke halaman yang lebih penting.
• Mengurangkan beban akses yang tidak diingini pada laman web.

Walaupun laman web boleh berfungsi tanpa fail robots.txt, ketiadaan fail ini bermakna bot akan merayapi dan mengindeks semua kandungan laman tanpa sekatan. Oleh itu, robots.txt penting untuk mengawal dan menguruskan interaksi bot dengan laman web secara lebih efisien dan selamat.

Cara asas membuat robots.txt:

1. Buat fail teks bernama "robots.txt" menggunakan editor teks biasa (bukan pengolah kata).
2. Tetapkan user-agent (bot yang ingin diatur).
3. Berikan arahan seperti "Disallow" untuk menghalang akses ke direktori atau halaman tertentu.
4. Uji fail robots.txt menggunakan alat penguji seperti Google Search Console untuk memastikan ia berfungsi dengan betul.

Contoh arahan dalam robots.txt:

User-agent: *
Disallow: /private/

Ini bermaksud semua bot dilarang merayapi folder /private/ pada laman web.

Secara ringkas, robots.txt adalah alat penting dalam pengurusan SEO dan keselamatan laman web yang membantu mengawal aktiviti bot mesin pencari dengan memberikan arahan yang jelas tentang bahagian laman yang boleh atau tidak boleh diakses.