robots.txt Yapay Zekâ Botlarını Engelliyor mu?

Bu sorunu yaşadığınızı nasıl anlarsınız?

robots.txt sorunu genellikle sessiz ilerler: site normal açılır, Google’da görünürsünüz, hiçbir hata mesajı almazsınız — ama ChatGPT, Perplexity veya Claude’a markanızı sorduğunuzda hiç anılmazsınız. Belirti çoğunlukla dolaylıdır: yapay zekâ sohbet motorlarına doğrudan sorduğunuzda rakipleriniz çıkıyor, siz çıkmıyorsunuz; Bing Webmaster Tools’ta “taranamadı” uyarıları birikiyor; sunucu erişim loglarında GPTBot, ClaudeBot veya PerplexityBot’un istekleri “403 Forbidden” ile sonuçlanıyor; yakın zamanda bir güvenlik eklentisi, WAF veya CDN kurdunuz ve o tarihten sonra yapay zekâ kaynaklı hiçbir ziyaret analitiğe düşmüyor.

• ChatGPT, Gemini veya Perplexity’ye markanızı doğrudan sorduğunuzda hiç anılmıyorsunuz.
• Google’da iyi sıralanıyorsunuz ama yapay zekâ yanıtlarında hiç kaynak gösterilmiyorsunuz.
• Sunucu loglarında veya güvenlik eklentisi panelinde GPTBot, ClaudeBot, PerplexityBot gibi user-agent’lara ait 403/429 kayıtları var.
• Yakın zamanda bir güvenlik eklentisi, güvenlik duvarı (WAF) veya CDN kurdunuz ve o tarihten sonra analitikte yapay zekâ kaynaklı (chatgpt.com, perplexity.ai) ziyaret hiç görünmüyor.
• robots.txt dosyasını en son ne zaman güncellediğinizi hatırlamıyorsunuz.

robots.txt yapay zekâ botlarını neden engeller?

Çoğu zaman kasıtlı bir karar değil, fark edilmeyen bir varsayılan ayardır. En sık dört nedenden biri geçerlidir: güvenlik eklentisi veya güvenlik duvarı (WAF), “bot trafiğini azalt” amacıyla bilinmeyen user-agent’ları toptan engelleyecek şekilde kurulmuştur; site kurulurken kullanılan şablon robots.txt dosyasında unutulmuş bir Disallow: / satırı vardır; hosting veya CDN sağlayıcısının panelinde varsayılan olarak açık gelen bir “yapay zekâ botlarını engelle” anahtarı fark edilmemiştir; ya da bilinçli ama hatalı bir kararla, içeriğin “çalınmaması” için tüm botlar engellenmiştir — oysa bu karar aynı zamanda yapay zekâ motorlarının markayı önermesini de engeller.

Güvenlik eklentileri ve WAF’lar

WordPress güvenlik eklentileri ve güvenlik duvarları (WAF), sunucu yükünü azaltmak için “bilinmeyen” veya “şüpheli” user-agent’ları otomatik olarak engelleyebilir. GPTBot veya ClaudeBot gibi görece yeni botlar, güncellenmemiş bir kural listesinde “şüpheli” kategorisine düşebilir.

Unutulmuş şablon kuralları

Site yenileme veya taşıma sırasında kullanılan geçici bir robots.txt (örneğin test ortamında tüm botları kapatan bir dosya) bazen değiştirilmeden canlıya taşınır.

Hosting / CDN varsayılan ayarı

Bazı hosting ve CDN panelleri, “bot koruma” veya “yapay zekâ tarayıcılarını engelle” seçeneğini varsayılan olarak açık sunar. Bu ayar robots.txt dosyasının dışında, sunucu seviyesinde çalışır — dosyayı düzeltseniz bile devrede kalabilir.

Bilinçli ama hatalı karar

“İçeriğim kopyalanmasın” gerekçesiyle tüm yapay zekâ botlarını engellemek meşru bir tercihtir, ama sonucu bilerek almak gerekir: bu karar aynı zamanda markanızın ChatGPT, Gemini ve Perplexity yanıtlarında hiç geçmemesi anlamına gelir.

Hangi botlara izin vermeli?

Karar, botun ne yaptığına göre değişir. Aşağıdaki tablo yapay zekâ arama ve yanıt motorlarının kullandığı başlıca botları ve önerilen yaklaşımı özetler — Eylül 2026 itibarıyla geçerli olan adlarla:

User-agent	Hangi motor	Ne yapar	Öneri
GPTBot	ChatGPT (OpenAI)	Model eğitimi için siteyi tarar	Görünürlük için izin verin; istemiyorsanız bunun eğitim verisi anlamına geldiğini bilerek karar verin
OAI-SearchBot, ChatGPT-User	ChatGPT (arama / canlı getirme)	Arama sonucu hazırlar veya kullanıcı bir linki paylaştığında anlık içerik getirir	İzin verin — engellerseniz ChatGPT sitenizi arama sonucunda gösteremez
PerplexityBot, Perplexity-User	Perplexity	İndeksleme ve kullanıcı tetiklemeli getirme	İzin verin
ClaudeBot, Claude-User, Claude-SearchBot	Claude (Anthropic)	Eğitim, arama ve kullanıcı tetiklemeli erişim	İzin verin
Google-Extended	Gemini, Google AI Overviews	Klasik Googlebot’tan ayrı, yapay zekâ özellikleri için izin katmanı	İzin verin — Googlebot’a izin vermek bunu kapsamaz
Applebot-Extended	Apple Intelligence	Apple’ın yapay zekâ özellikleri için ayrı izin katmanı	İzin verin
Bingbot	Bing + Microsoft Copilot	Hem klasik Bing aramasını hem Copilot’un web sonuçlarını besler	Mutlaka izin verin

Değer üretmeyen, yalnızca rakip verisi toplayan araçlar (ör. bazı SEO analiz botları) için erişimi tamamen kapatmak yerine Crawl-delay ile sınırlamak, sunucu yükünü azaltırken meşru kullanım senaryolarını da bozmaz.

Adım adım kontrol ve düzeltme

1. Dosyayı doğrudan görün. Tarayıcıda siteniz.com/robots.txt adresini açın. Bu dosya her zaman herkese açıktır; özel bir araca gerek yoktur.
2. “Disallow: /” satırlarını arayın. Belirli bir User-agent bloğunun altında Disallow: / varsa, o bot sitenin tamamından men edilmiş demektir.
3. İzin verilecek botları yukarıdaki tablodan seçin ve her biri için ayrı User-agent / Allow: / bloğu yazın (ya da genel kural olarak User-agent: * altında Allow: / tanımlayıp yalnızca gerçekten istenmeyen botları ayrı ayrı Disallow edin).
4. WAF ve CDN panelini ayrıca kontrol edin. robots.txt bir “nezaket kuralıdır”; iyi niyetli botlar ona uyar ama sunucu seviyesindeki bir güvenlik duvarı kuralı dosyadan bağımsız çalışıp isteği yine de reddedebilir.
5. Değişikliği doğrulayın. curl -A "GPTBot" https://siteniz.com/ gibi bir komutla ya da tarayıcı geliştirici araçlarıyla ilgili user-agent’ın artık 200 yanıtı aldığını kontrol edin; Bing Webmaster Tools’taki tarama hatalarının zamanla azaldığını izleyin.

Sık yapılan hatalar

• Tüm botları tek satırla kapatmak. User-agent: * altına konan bir Disallow: /, arama motorlarını da yapay zekâ botlarını da aynı anda men eder.
• Yalnızca Googlebot’u hatırlamak. Googlebot’a izin verip GPTBot, ClaudeBot, PerplexityBot’u unutmak, en sık görülen eksik konfigürasyondur.
• robots.txt’i düzeltip WAF’ı unutmak. Dosya doğru olsa bile güvenlik duvarı seviyesinde ayrı bir engelleme kuralı çalışmaya devam edebilir.
• Değişikliği hiç doğrulamamak. Dosyayı güncelleyip “artık düzeldi” varsaymak; gerçek erişimi test etmemek.

Örnek Vaka: Fark edilmeyen bir güvenlik ayarı

ÖRNEK VAKA — Bu vaka, e-ihracat yapan üretici işletmelerde sık karşılaşılan gerçek bir problemi ve Marka Studio’nun bu probleme yaklaşımını gösterir. İşletme profili temsilîdir, belirli bir müşteriyi tanımlamaz.

Problem: Avrupa’ya ihracat yapan, 25 çalışanlı bir ev tekstili üreticisi. Altı ay önce artan bot trafiğini azaltmak için bir güvenlik eklentisi kurulmuş; eklenti kurulum sihirbazında “bilinmeyen botları engelle” seçeneği varsayılan olarak işaretli bırakılmış. Site Google’da normal şekilde görünmeye devam ediyor, çünkü Googlebot istisna listesinde. Ancak firma, bir Alman toptancının “sizi ChatGPT’de bulamadım” demesiyle sorunu fark ediyor.

Sorunun işletmeye bedeli: Yurt dışı alıcılar tedarikçi araştırmasına giderek bir arama motorundan değil, doğrudan bir yapay zekâ sohbet aracından başlıyor. Kısa listeye girmeyen tedarikçi, teklif isteği gelmeden elenir; bu kayıp hiçbir raporda görünmez çünkü hiç oluşmayan talebi ölçmek mümkün değildir.

Neden alışılmış çözümler işe yaramıyor? Sektördeki ilk refleks genellikle “daha fazla SEO” ya da “yeni bir web sitesi”dir. Oysa bu firmanın web sitesi teknik olarak sağlıklı ve Google’da görünür durumda. Sorun içerik ya da tasarım değil; yapay zekâ botlarının siteye hiç erişememesidir. İçerik üretmek, kapısı kapalı bir binaya tabela asmaya benzer.

Marka Studio’nun teşhisi:

• robots.txt dosyası ve sunucu/WAF seviyesindeki bot kuralları birlikte incelenir; ikisi ayrı katmanlar olduğu için ayrı ayrı kontrol edilir.
• Sunucu erişim logları, GPTBot, ClaudeBot, PerplexityBot gibi user-agent’ların aldığı yanıt kodlarına (200 / 403 / 429) göre taranır.
• Düzeltme sonrası, gerçek erişimi doğrulamak için ilgili user-agent’larla canlı test yapılır.

Stratejik yaklaşım:

1. Erişimi açmak: robots.txt’teki toptan engelleme kaldırılır, yapay zekâ botları için açık Allow kuralları yazılır.
2. Güvenlik katmanını hizalamak: Eklenti/WAF panelindeki “bot koruma” istisna listesine aynı botlar eklenir; robots.txt ile sunucu kuralı çelişmeyecek şekilde eşitlenir.
3. Doğrulamak: Değişiklik sonrası ilgili user-agent’larla erişim testi yapılır ve Bing Webmaster Tools’taki tarama hataları izlenir.
4. Kalıcı hâle getirmek: Gelecekteki eklenti veya CDN güncellemelerinin aynı ayarı yeniden açmaması için bir kontrol notu bırakılır.

Teslimatlar: robots.txt ve WAF/CDN bot-izin denetim raporu, düzeltilmiş robots.txt dosyası, erişim doğrulama kaydı.

Hedeflenen etki ve ölçüm:

• İlgili user-agent’ların sunucu loglarında 200 yanıtı almaya başlaması.
• Bing Webmaster Tools’taki tarama hatalarının azalması.
• Analitikte yapay zekâ kaynaklı (chatgpt.com, perplexity.ai vb.) ziyaretlerin görünür hâle gelmesi.

Yapay zekâ yanıtları kişiye ve zamana göre değiştiği için başarı tek bir sorguyla değil, düzenli aralıklarla tekrarlanan bir soru setiyle değerlendirilir.

Karar vericiye not: Bu, bütçe gerektiren bir sorun değil, fark edilmeyi bekleyen bir ayardır. Kendi robots.txt dosyanızı bugün kontrol etmek beş dakikanızı alır; düzeltmemek ise yapay zekâ tarafında görünmezliğin sürmesi anlamına gelir. Kapsamlı bir denetim isterseniz GEO — Üretken Arama Optimizasyonu hizmetimizle başlayabilirsiniz.

Sık Sorulan Sorular

Özet

robots.txt, yapay zekâ arama motorlarının önündeki ilk kapıdır: yanlış ayarlanmışsa üretilen hiçbir içerik alıntılanamaz. Kontrolü beş dakika sürer, düzeltmesi genellikle tek bir dosya değişikliğidir. Bu adımı GEO çalışmanızın en başında tamamlayın; içerik ve entity çalışması ancak botlar siteye erişebiliyorsa karşılık bulur. Kapsamlı bir kontrol için GEO hizmetimize göz atabilir ya da hizmet talebi bırakarak kısa bir görüşmeyle başlayabilirsiniz.

Kaynaklar

• RFC 9309 — Robots Exclusion Protocol
• Google Search Central — Google’ın tarayıcılarına genel bakış
• OpenAI — GPTBot ve ilgili botların dokümantasyonu

İlgili okuma: GEO ve AEO Nedir? Yapay Zekâ Aramasında Görünmek, ChatGPT’de Markanız Nasıl Öneriliyor? (GEO Rehberi) ve llms.txt Nedir, Sitenize Eklemeli misiniz? yazılarımıza da göz atabilirsiniz.

İlgili hizmetlerimiz: Görünürlük Ölçümü.