Robots.txt Üretici
Yapay zekâ botları dahil hazır robots.txt
Genel tarama kuralları
Bir şablon seçin; özel yolları her satıra bir tane yazın.
Her satıra / ile başlayan bir yol yazın.
Daha geniş bir engelin içindeki istisnaları yazın.
Her satıra tam bir sitemap adresi yazın.
Yalnızca sunucunuz yoğun taramadan etkileniyorsa kullanın.
Yapay zekâ botları
Her botun sitenize erişimini ayrı ayrı belirleyin.
GPTBot
OpenAI · Model eğitimi
OpenAI · Model eğitimi
OAI-SearchBot
OpenAI · Yapay zekâ arama
OpenAI · Yapay zekâ arama
ChatGPT-User
OpenAI · Kullanıcı isteğiyle erişim
OpenAI · Kullanıcı isteğiyle erişim
ClaudeBot
Anthropic · Model eğitimi
Anthropic · Model eğitimi
Claude-User
Anthropic · Kullanıcı isteğiyle erişim
Anthropic · Kullanıcı isteğiyle erişim
Claude-SearchBot
Anthropic · Yapay zekâ arama
Anthropic · Yapay zekâ arama
anthropic-ai
Anthropic · Model eğitimi
Anthropic · Model eğitimi
PerplexityBot
Perplexity · Yapay zekâ arama
Perplexity · Yapay zekâ arama
Perplexity-User
Perplexity · Kullanıcı isteğiyle erişim
Perplexity · Kullanıcı isteğiyle erişim
Google-Extended
Google · Model eğitimi
Google · Model eğitimi
Applebot-Extended
Apple · Model eğitimi
Apple · Model eğitimi
CCBot
Common Crawl · Model eğitimi
Common Crawl · Model eğitimi
Bytespider
ByteDance · Model eğitimi
ByteDance · Model eğitimi
Amazonbot
Amazon · Yapay zekâ arama
Amazon · Yapay zekâ arama
Meta-ExternalAgent
Meta · Model eğitimi
Meta · Model eğitimi
cohere-ai
Cohere · Model eğitimi
Cohere · Model eğitimi
DuckAssistBot
DuckDuckGo · Yapay zekâ arama
DuckDuckGo · Yapay zekâ arama
MistralAI-User
Mistral AI · Kullanıcı isteğiyle erişim
Mistral AI · Kullanıcı isteğiyle erişim
YouBot
You.com · Yapay zekâ arama
You.com · Yapay zekâ arama
Canlı robots.txt
Ayarlar değiştikçe dosya anında güncellenir.
User-agent: *
Disallow:
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: CCBot
Allow: /
User-agent: Bytespider
Allow: /
User-agent: Amazonbot
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
User-agent: cohere-ai
Allow: /
User-agent: DuckAssistBot
Allow: /
User-agent: MistralAI-User
Allow: /
User-agent: YouBot
Allow: /
Dosya kontrolü
Dosya geçerli; kopyalayıp sitenizin kök dizinine ekleyebilirsiniz.
Bilgi
1Sitemap adresi eklenmedi
Arama motorları sitemap dosyanızı başka yollarla da bulabilir, ancak burada belirtmek keşfi kolaylaştırır.
Nasıl düzeltilir
Varsa tam sitemap adresinizi ekleyin; örneğin https://siteadi.com/sitemap.xml.
Geçenler
1
Robots.txt biçimi geçerli
20 tarayıcı grubu hatasız oluşturuldu.