Panduan Membuat dan Menulis Fail Robots.txt yang Betul

Untuk membuat dan menulis fail robots.txt yang betul, ikuti panduan berikut:

1. Buat fail teks kosong bernama "robots.txt" menggunakan editor teks biasa seperti Notepad atau Visual Studio Code. Pastikan fail ini adalah fail teks biasa, bukan fail dari pengolah kata yang boleh menambah format tersembunyi.

2. Tentukan aturan (direktif) dalam fail tersebut. Aturan ini memberitahu bot mesin pencari (user-agent) bahagian mana dari laman web yang boleh atau tidak boleh diakses. Contoh aturan asas:

   User-agent: *
   Disallow: /folder-terlarang/
   Allow: /
   

   • User-agent menentukan bot mana yang diatur (contoh: * untuk semua bot).
   • Disallow untuk melarang akses ke direktori atau halaman tertentu.
   • Allow untuk membenarkan akses (biasanya digunakan untuk pengecualian dalam direktori yang dilarang).

3. Simpan dan muat naik fail robots.txt ke direktori root laman web (direktori utama di mana laman web anda dihoskan). Fail ini mesti boleh diakses melalui URL seperti domainanda.com/robots.txt.

4. Uji fail robots.txt menggunakan alat seperti Google Search Console (GSC) untuk memastikan aturan yang ditulis berfungsi dengan betul dan bot dapat mengikutinya. Dalam GSC, anda boleh menggunakan fitur "Uji robots.txt" untuk memeriksa kesahihan fail tersebut.

5. Sentiasa kemaskini fail robots.txt jika terdapat perubahan pada struktur laman web atau keperluan kawalan akses bot. Ini penting supaya mesin pencari dapat mengindeks laman web anda dengan betul tanpa mengakses bahagian yang tidak diingini.

Nota penting:

• Fail robots.txt hanya memberi arahan kepada bot yang mematuhi protokol (seperti Googlebot). Bot jahat atau spam mungkin mengabaikan fail ini.
• Pastikan hanya ada satu fail robots.txt di root laman web.
• Fail ini harus disimpan dalam format teks biasa dan menggunakan pengekodan UTF-8.

Dengan mengikuti langkah ini, anda dapat membuat fail robots.txt yang betul untuk mengawal akses bot mesin pencari ke laman web anda secara efektif.