Cloudflare Siteniz Adına Yapay Zekâ Botlarını Engelliyor Olabilir

Cloudflare kullanan bir sitede, siz hiçbir şey yapmadan yapay zekâ tarayıcıları engellenmiş olabilir. Cloudflare, yönetilen robots.txt özelliği açık olduğunda bu dosyaya kendi bloğunu ekliyor ve bu blok GPTBot, ClaudeBot, Google-Extended, CCBot ve Applebot-Extended gibi tarayıcılara Disallow: / diyor. Kontrol etmek için tarayıcınızdan alanadiniz.com/robots.txt adresini açmanız yeterli.

Neden fark edilmiyor?

Çünkü sunucunuzdaki dosyada bu satırlar yok. Cloudflare kendi bloğunu sizin dosyanızın başına ekliyor; dosyayı kendi sunucunuzda açtığınızda temiz görünüyor, internetten baktığınızda ise blok orada.

Daha önemlisi: Kendi robots.txt dosyanızda o botlara izin vermeniz durumu güvenilir biçimde değiştirmiyor. Cloudflare'in eklediği bota özel grup (örneğin User-agent: GPTBot altında Disallow: /), dosyanızdaki genel User-agent: * izninden daha özeldir; o bot için geçerli olan grup budur, bu yüzden genel izniniz o botları açmaz. Aynı bot için ayrıca izin grubu yazsanız bile tarayıcıların çakışan grupları nasıl yorumlayacağı değişebilir. Kesin kontrol için Cloudflare'in yönetilen robots.txt ayarını kapatmanız gerekir.

Bu bir hata mı?

Hayır, bilinçli olarak sunulan bir özellik. Cloudflare, içeriğin izinsiz olarak yapay zekâ eğitiminde kullanılmasını engellemek için bu ayarı sunuyor; ayar, kurulum sırasında yapılan seçime veya hesabın varsayılan ayarlarına bağlı olarak siz fark etmeden açık olabiliyor. Sorun ayarın kendisinde değil, ne olduğunun bilinmemesinde: Pek çok site sahibi yapay zekâ aramalarında neden görünmediğini araştırırken içerik ve şema tarafına bakıyor, oysa kapı zaten kapalı.

Hepsini açmak gerekir mi?

Hayır, bu ayrım önemli. Bu botlar aynı işi yapmıyor:

• Eğitim için tarayanlar: GPTBot (OpenAI), ClaudeBot (Anthropic) ve CCBot (Common Crawl). Topladıkları içerik yapay zekâ modellerinin eğitiminde kullanılabiliyor. Google-Extended ve Applebot-Extended ise ayrı birer tarayıcı değil; Google ve Apple'ın zaten taradığı içeriğin yapay zekâ modellerinde kullanılıp kullanılmayacağını belirleyen robots.txt adları (Google-Extended, Gemini uygulamalarının yanıtlarındaki kullanımı da kapsıyor).
• Cevap ve arama için gelenler: OAI-SearchBot ve ChatGPT-User (OpenAI), Claude-SearchBot ve Claude-User (Anthropic), PerplexityBot ve Perplexity-User (Perplexity). Arama botları bu araçların cevaplarda kullandığı dizini oluşturuyor; adı -User ile bitenler ise kullanıcı bir soru sorduğunda sayfaya o an geliyor.

İkinci grubu engellemek, o araçların cevaplarında kaynak olarak görünme ihtimalinizi ciddi biçimde azaltıyor. Birinci grubu engellemek ise içeriğinizi esas olarak eğitim verisinden çıkarıyor; arama sonuçlarındaki görünürlüğü doğrudan etkilemiyor. Yani "yapay zekâ eğitimine karşıyım ama yapay zekâ aramalarında görünmek istiyorum" tutarlı bir tutum ve teknik olarak uygulanabilir.

Google-Extended'i engellemek Google'dan düşürür mü?

Hayır. Bu en sık karıştırılan nokta. Google-Extended yalnızca içeriğinizin Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI'daki yanıtlarda kullanılmasını yönetir. AI Overviews ise Google Arama'nın parçasıdır ve Googlebot ile yönetilir; bu ayardan etkilenmez. Klasik Google araması ve sıralamanız da etkilenmez. Bu nedenle Google-Extended ayarını, arama sonuçlarından düşme endişesi taşımadan kendi tercihinize göre belirleyebilirsiniz.

Nasıl kontrol edersiniz?

1. alanadiniz.com/robots.txt adresini tarayıcıda açın.
2. User-agent: GPTBot gibi satırlar arayın. Altlarında Disallow: / varsa o bot engellidir.
3. Content-Signal satırı varsa Cloudflare'in yönetilen bloğu büyük olasılıkla devrededir.

Kapatmak isterseniz

Cloudflare panelinde Security → Settings → Bot traffic bölümünde yönetilen robots.txt ayarı bulunuyor; kapatıldığında kontrol tamamen sizin dosyanıza geçiyor. Sonrasında hangi botun açık, hangisinin kapalı olacağına tek tek karar verebilirsiniz.

Kapatmadan önce bilinçli bir tercih yapın: İçeriğinizin eğitimde kullanılmasını istemiyorsanız o botları kendi dosyanızda engelleyin, ama cevap üreten botları açık bırakın. İkisini aynı kefeye koymak, görünürlüğü gereksiz yere feda etmek oluyor.

Uygulamada sık yapılan hatalar

• robots.txt dosyasını yalnız sunucuda açıp internetten görünen hâline bakmamak.
• Kendi dosyasına genel User-agent: * izni yazıp Cloudflare'in bota özel engelinin kalktığını varsaymak.
• Eğitim için tarayan botlarla cevap ve arama botlarını aynı kefeye koyup hepsini birlikte kapatmak.
• Google-Extended'i engellemenin Google aramasındaki sıralamayı düşüreceğini sanmak.
• Yönetilen robots.txt ayarını kapattıktan sonra hangi botun açık kalacağına karar vermemek.

Çamlıca yaklaşımı

Yapay zekâ aramalarındaki görünürlük çalışmasına içerikten önce erişimden başlıyoruz: sitenin internetten görünen robots.txt dosyası, CDN ve güvenlik katmanının eklediği kurallar ve hangi botların içeriğe ulaşabildiği ilk bakılan noktalardır. SEO, AEO ve GEO hizmetimizde eğitim botları ile cevap botları için tercihi markayla birlikte belirler, ayarı buna göre kurarız. Çalışmanın içerik tarafı için yapay zekâ aramalarında görünürlük rehberimize göz atabilirsiniz.