Robots.txt internet ortamı üzerinde tüm arama motorları ve örümceklerin sizin sitenizde gezmesi yada gezmemesi için ayarlanması gereken bir dosyadır. Bu dosya sayesinde siteniz içerisindeki belirli bölümleri belirli örümceklere kapatabilir/açabilirsiniz.
Kullanılmalıdır, faydalıdır.
Kısaca birkaç bilgi:
User-Agent:*
Disallow: /admin/
disallow: bu dizini indexleme, görmezden gel, girme demek.
kafanıza göre düzenleyebilirsiniz.
robots.txt dosyasını oluşturduktan sonra siteadı.com/robots.txt şeklinde kullanmalısınız. ana dizinde olmalı yani.
iyi çalışmalar.
detayli bilgi > The Web Robots Pages
İletişim bilgileriniz hiçbir şekilde 3. parti uygulama ile paylaşılmamaktadır.
txt ne dir
txt bir dosya uzantısıdır. Windows işletim sisteminde default olarak notepad ile ilişkilendirilmiştir. Düz yazı yazdığınız, metin dosyasıdır yani.