robots.txt Oluşturucu
Botların siteyi nasıl tarayacağını seçin, aramada görünmemesi gereken yolları listeleyin ve dosyayı sitenizin kök dizinine koyun.
robots.txt
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=
Sitemap: https://example.com/sitemap.xml
Bu araç hakkında
robots.txt alan adının kökünde durur ve tarayıcılara hangi yolları atlayacaklarını söyler. Bir erişim denetimi değil, tarama talimatıdır: engellenen adresler başka siteler bağlantı verdiğinde yine dizine girebilir, bu yüzden gerçekten gizlenmesi gerekenler için noindex etiketi veya kimlik doğrulama kullanın.
Kurallar user-agent başına gruplanır ve her bot kendisine uyan en özel grubu izler. Yapay zekâ seçeneği GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot ve dosyaya uyan diğer model eğitimi botları için açık engeller ekler.
Sık sorulan sorular
- Dosyayı nereye koymalıyım?
- Alan adının köküne, https://ornek.com/robots.txt adresinden erişilecek şekilde. Alt dizinlerde çalışmaz.
- Google crawl-delay değerine uyar mı?
- Hayır. Googlebot yok sayar; Bing ve Yandex uyar. Google için tarama hızını Search Console'dan ayarlayın.
- Bir sayfayı engellemek onu Google'dan kaldırır mı?
- Güvenilir biçimde hayır. Engellenen adres açıklamasız da olsa görünebilir. Gerçek kaldırma için taranabilir sayfaya noindex etiketi koyun.