Penggunaan robots.txt untuk mengawal akses crawlers Bing dilakukan dengan menambah arahan khusus dalam fail robots.txt yang terletak di direktori root laman web anda. Untuk mengawal Bingbot (crawler Bing), anda perlu nyatakan user-agent bingbot dalam fail robots.txt dan gunakan arahan Disallow untuk menghalang akses ke bahagian tertentu laman web, atau Allow untuk membenarkan akses.
Contoh asas untuk menghalang Bingbot mengakses keseluruhan laman web:
User-agent: bingbot
Disallow: /
Ini bermaksud Bingbot tidak dibenarkan meng-crawl mana-mana halaman di laman web tersebut.
Jika anda mahu membenarkan Bingbot mengakses keseluruhan laman, tetapi menghalang bahagian tertentu, contohnya folder /private/, anda boleh gunakan:
User-agent: bingbot
Disallow: /private/
Fail robots.txt juga boleh mengandungi arahan untuk bot lain dengan menambah blok user-agent yang berbeza.
Perkara penting tentang robots.txt:
- Arahan
User-agentmengenal pasti bot berdasarkan nama user-agent mereka, contohnyabingbotuntuk Bing. - Arahan
DisallowdanAllowmenentukan bahagian laman yang boleh atau tidak boleh diakses oleh bot tersebut. - Fail robots.txt adalah fail teks biasa yang boleh diakses oleh sesiapa sahaja, jadi ia tidak sesuai untuk menyembunyikan maklumat sensitif sepenuhnya.
- Untuk memastikan halaman tidak diindeks, selain robots.txt, gunakan juga tag meta
noindexdalam HTML halaman tersebut. - Mengawal akses Bingbot penting kerana Bing adalah enjin carian di belakang ChatGPT, dan memastikan Bingbot dibenarkan meng-crawl laman anda membantu kandungan anda diindeks dan muncul dalam hasil carian Bing dan ChatGPT.
Ringkasan cara kawal Bingbot menggunakan robots.txt:
| Tujuan | Contoh Arahan dalam robots.txt |
|---|---|
| Halang Bingbot akses laman | User-agent: bingbotDisallow: / |
| Benarkan Bingbot akses penuh | User-agent: bingbotDisallow: |
| Halang Bingbot akses folder tertentu | User-agent: bingbotDisallow: /folder/ |
Dengan konfigurasi ini, anda boleh mengawal dengan tepat bahagian mana Bingbot boleh atau tidak boleh crawl di laman web anda.
Malay Ranking menawarkan perkhidmatan trafik laman web berkualiti tinggi di Malaysia. Kami menyediakan pelbagai jenis perkhidmatan trafik untuk pelanggan kami, termasuk trafik laman web, trafik desktop, trafik mudah alih, trafik Google, trafik carian, trafik eDagang, trafik YouTube, dan trafik TikTok. Laman web kami mempunyai kadar kepuasan pelanggan 100%, jadi anda boleh membeli trafik SEO dalam jumlah besar secara dalam talian dengan yakin. Hanya dengan 720 PHP sebulan, anda boleh meningkatkan trafik laman web serta-merta, memperbaiki prestasi SEO, dan melonjakkan jualan!
Sukar memilih pakej trafik yang sesuai? Hubungi kami dan staf kami akan membantu anda.
Konsultasi percuma