robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp taramayacaklarını söyleyen bir metin dosyasıdır. Tarama (crawl) yönetiminin temelidir.
robots.txt (site.com/robots.txt), botlara talimat veren bir dosyadır. Örneğin admin sayfalarını taramamalarını söyleyebilirsiniz.
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://site.com/sitemap.xmlSEOBOTX ile robots.txt, indeksleme ve tarama sorunlarını kontrol edin.
Teknik SEO AracıTaramayı engeller ama tam indeksleme engeli için "noindex" gerekir.
Sitenin kök dizininde: site.com/robots.txt