Yapay Zeka Botları (GPTBot, ClaudeBot) ve robots.txt

Sitenizin sunucu loglarına baktığınızda son birkaç yıldır tanıdık olmayan yeni ziyaretçiler görüyor olabilirsiniz: GPTBot, ClaudeBot, PerplexityBot... Bunlar, arama motoru botlarının aksine, içeriğinizi yapay zekâ modellerini eğitmek ya da canlı yanıtlar üretmek için tarayan yeni nesil botlar. Peki bu botlar tam olarak ne yapıyor, robots.txt ile nasıl yönetilir ve onları engellemek markanız için doğru bir karar mı?

Bu yazıda başlıca yapay zekâ botlarını, robots.txt ile bunları nasıl yöneteceğinizi, engellemenin AI görünürlüğünüze etkisini ve "izin ver mi, engelle mi" kararını nasıl vermeniz gerektiğini ele alıyoruz.

Kısa tanım: AI botları (ya da AI tarayıcıları), web sitelerini yapay zekâ modellerini eğitmek, güncel bilgiyle beslemek ya da bir kullanıcının isteği üzerine canlı olarak bir sayfayı getirmek amacıyla tarayan otomatik yazılımlardır. Geleneksel arama motoru botlarından farklı çalışırlar ve genellikle robots.txt üzerinden ayrı ayrı yönetilebilirler.

AI Botları Nedir ve Ne İşe Yararlar?

Web tarayıcı botları hiç yeni bir kavram değil — Googlebot, Bingbot gibi botlar yıllardır siteleri tarayıp indeksliyor. Ancak yapay zekâ şirketlerinin ortaya çıkışıyla birlikte farklı bir amaçla çalışan yeni bir bot kategorisi oluştu. Bu botları kabaca iki gruba ayırabiliriz:

• Eğitim botları (training crawlers): İçeriğinizi büyük dil modellerinin eğitim verisine dahil etmek için toplar. GPTBot, ClaudeBot, Google-Extended, CCBot ve Bytespider bu kategoriye örnektir.
• Canlı erişim / ajan botları (live retrieval bots): Bir kullanıcı, sohbet asistanına belirli bir konuda soru sorduğunda ya da belirli bir sayfayı özetlemesini istediğinde, anlık olarak o sayfaya giden botlardır. OAI-SearchBot, ChatGPT-User, PerplexityBot ve Claude-User bu gruba girer.

Bu ayrım kritik önemde, çünkü bir siteyi eğitim amaçlı taramaya kapatmak, o sitenin ileride bir kullanıcı sorduğunda AI tarafından hiç görülemeyeceği anlamına gelmez — bu ikisi genelde farklı bot adları ve farklı kararlarla yönetilir. Bu farkı aşağıda ayrıntılı ele alıyoruz.

Başlıca AI Botları

Aşağıdaki tabloda sık karşılaşılan AI botlarını ve genel amaçlarını özetledik. Bot adları ve politikaları zamanla değişebildiği için, robots.txt kararınızı vermeden önce ilgili şirketin güncel dokümantasyonunu kontrol etmenizi öneririz.

Not: Google-Extended, klasik Googlebot'tan tamamen ayrıdır. Bu botu engellemek arama sıralamanızı etkilemez; yalnızca içeriğinizin Gemini ve benzeri Google AI ürünlerinin eğitiminde kullanılmasını sınırlar.

2026 itibarıyla bu listeye yeni oyuncular da ekleniyor; bölgesel yapay zekâ girişimlerinin ve arama motoru-AI hibrit ürünlerinin kendi tarayıcılarını devreye almasıyla, önümüzdeki dönemde tablonun daha da genişlemesini bekleyebilirsiniz. Bu yüzden robots.txt dosyanızı "bir kere yazıp unutulacak" bir belge değil, düzenli gözden geçirilmesi gereken canlı bir doküman olarak ele almanız önerilir.

Sunucu Loglarınızda AI Botlarını Nasıl Tespit Edersiniz?

Hangi AI botlarının sitenizi ziyaret ettiğini görmek için ileri düzey teknik bilgiye ihtiyacınız yoktur:

1. 1Sunucu erişim loglarını inceleyin. Hosting panelinizde ya da Cloudflare gibi bir CDN'de "access log" veya "user-agent" raporlarına bakarak GPTBot, ClaudeBot, PerplexityBot gibi isimleri arayın.
2. 2Analitik ve güvenlik araçlarını kontrol edin. Bazı sunucu düzeyinde analiz ve güvenlik araçları, bot trafiğini insan trafiğinden ayırarak raporlar; bu raporlarda AI botu kategorisi ayrıca listelenebilir.
3. 3İlgili şirketin resmî dokümantasyonuna bakın. Google Search Console gibi araçlar yalnızca Googlebot'u kapsar; AI botlarına özel doğrulama için OpenAI, Anthropic ya da Perplexity'nin yayınladığı user-agent ve IP aralığı dokümantasyonunu kullanabilirsiniz.

Bu adımlar, kararınızı varsayımlarla değil gerçek verilerle vermenizi sağlar — hangi botların sitenizi ne sıklıkla ziyaret ettiğini bilmeden robots.txt stratejinizi kurmak, eksik bilgiyle karar vermek anlamına gelir.

robots.txt ile AI Botlarını Yönetme

AI botlarını, tıpkı diğer botlar gibi robots.txt dosyanızda ayrı User-agent blokları tanımlayarak yönetebilirsiniz. Her bot için ayrı ayrı Allow ya da Disallow kararı verme imkânınız vardır — yani "arama motorlarına tam izin, eğitim botlarına kısmi izin, canlı erişim botlarına tam izin" gibi dengeli bir yapı kurabilirsiniz.

Aşağıda, arama motoru taramasına tam izin verirken yalnızca model eğitim botlarını sınırlayan, canlı erişim botlarına ise izin veren örnek bir yapı görebilirsiniz:

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://www.ornek-site.com.tr/sitemap.xml

Bu örnekte site sahibi, içeriğinin model eğitiminde kullanılmasını istemiyor ama kullanıcılar ChatGPT, Perplexity gibi araçlarla sorduğunda sitesinin canlı olarak taranıp yanıtlarda referans gösterilebilmesini istiyor. Bu, birçok içerik ve hizmet sitesi için makul bir orta yol olabilir — ama tek doğru yapı bu değildir; kendi hedeflerinize göre farklı bir denge kurabilirsiniz. Mevcut robots.txt dosyanızı satır satır gözden geçirmek isterseniz robots.txt ve sitemap denetimi rehberimize göz atabilirsiniz.

Engellemenin AI Görünürlüğüne Etkisi

Bir AI botunu engellemenin sonuçları, hangi bot olduğuna göre büyük ölçüde değişir:

• Eğitim botunu engellerseniz (ör. GPTBot, ClaudeBot): İçeriğiniz o şirketin gelecekteki model eğitim verisine dahil olmaz. Var olan modellerin daha önce eğitilmiş bilgisi üzerinde bu değişikliğin geriye dönük bir etkisi olmaz.
• Canlı erişim botunu engellerseniz (ör. OAI-SearchBot, ChatGPT-User, PerplexityBot): Bir kullanıcı asistana sitenizle ilgili güncel bir soru sorduğunda, asistan sayfanıza anlık olarak erişip alıntı yapamaz. Bu, markanızın gerçek zamanlı AI yanıtlarında görünme şansını doğrudan azaltır.

Birçok site sahibi bu ayrımı bilmeden, "AI botu" adı geçen her şeyi toptan engelliyor. Bu, hem eğitim verisi kaygısını gidermeye çalışırken hem de markanın canlı AI yanıtlarında görünme şansını, farkında olmadan birlikte yok edebilir. ChatGPT'de görünürlük hedefiniz varsa, en azından canlı erişim botlarına izin vermeyi değerlendirmenizi öneririz; bu, GEO stratejinizin teknik ayağının bir parçasıdır.

Ayrıca şunu da belirtmek gerekir: robots.txt bir zorlama mekanizması değildir. İyi niyetli, kurallara uyan şirketlerin botları bu talimatları dikkate alır, ancak hiçbir teknik yaptırım hiçbir botu buna uymaya zorlayamaz. Bazı yayıncılar zaman zaman belirli botların robots.txt kurallarına tam uymadığını iddia etmiştir; bu tür endişeleriniz varsa sunucu düzeyinde ek önlemler (ör. IP/User-agent bazlı erişim kısıtlaması, hız sınırlama) değerlendirebilirsiniz.

İzin Vermek mi, Engellemek mi? Karar Çerçevesi

Doğru cevap işletmeden işletmeye değişir. Karar verirken şu soruları sorun:

1. 1İçeriğiniz özgün araştırma/veri mi, yoksa genel bilgilendirici içerik mi? Özgün araştırma ve veri gazeteciliği yapan yayıncılar, içeriklerinin izinsiz kullanılmasına karşı daha temkinli olabilir.
2. 2AI araçlarında marka görünürlüğü sizin için değerli mi? Bir hizmet ya da ürün firmasıysanız, kullanıcıların "en iyi X" diye sorduğunda markanızın önerilmesi ek bir organik kazanım kanalı olabilir.
3. 3Gelir modeliniz doğrudan içerik erişimine mi dayanıyor? Abonelik ya da içerik satışıyla gelir elde eden siteler için eğitim botlarını engellemek daha mantıklı olabilir.
4. 4Sunucu kaynaklarınız kısıtlı mı? Yoğun bot trafiği, özellikle küçük hosting paketlerinde performans sorunlarına yol açabilir; bu durumda seçici engelleme gerekebilir.

Örneğin Bursa'da butik mobilya üreten bir atölye için PerplexityBot ve ChatGPT-User gibi canlı erişim botlarına izin vermek, "Bursa'da özel tasarım yatak odası" gibi sorularda markanın AI önerilerinde çıkma ihtimalini artırabilir. Buna karşılık özgün pazar araştırması ve veri raporu satarak gelir elde eden bir danışmanlık firması, eğitim botlarını çok daha temkinli değerlendirmek isteyebilir; çünkü onun için asıl değer, o özgün verinin başka bir yerde ücretsiz "özetlenmemesidir".

Bu tablo genel bir eğilimi özetler; nihai karar sektörünüze ve stratejinize göre değişebilir.

Sık Yapılan Hatalar

• "AI" geçen her botu reflekssel olarak engellemek. Eğitim ile canlı erişim botları arasındaki farkı gözetmeden toptan engelleme, istemeden AI görünürlüğünü de yok edebilir.
• robots.txt'i güncel tutmamak. Yeni bot isimleri düzenli olarak ortaya çıkıyor; dosyanızı yılda birkaç kez gözden geçirmek faydalı olur.
• robots.txt'in garanti sağladığını sanmak. Dosya yalnızca gönüllü uyum ister; kesin bir erişim engeli değildir.
• Kararı hiç gözden geçirmemek. AI görünürlüğünün değeri zamanla değişebilir; bugün mantıklı olan bir engelleme kararı bir yıl sonra gözden geçirilmeye değer olabilir.

Sıkça Sorulan Sorular

GPTBot'u engellersem ChatGPT sitemi hiç göremez mi?

Hayır, tam olarak değil. GPTBot'u engellemek yalnızca içeriğinizin gelecekteki model eğitiminde kullanılmasını sınırlar. Kullanıcılar ChatGPT üzerinden canlı arama yaptığında OAI-SearchBot ya da ChatGPT-User gibi farklı botlar devreye girer; bunlara izin veriyorsanız sitenizin anlık yanıtlarda görünmesi hâlâ mümkündür.

AI botlarını engellemek Google sıralamamı etkiler mi?

Hayır. GPTBot, ClaudeBot ya da Google-Extended gibi botları engellemek, Googlebot'un davranışını etkilemez. Bunlar tamamen ayrı, bağımsız yönetilen bot gruplarıdır.

robots.txt AI botlarının içeriğimi kullanmasını kesin olarak engeller mi?

Hayır. robots.txt gönüllü uyuma dayanan bir standarttır. Kurallara uyan şirketlerin botları talimatları dikkate alır, ancak teknik bir zorlama mekanizması değildir. Kesin erişim kısıtlaması için sunucu düzeyinde önlemler gerekir.

Hangi AI botlarını engellemeliyim?

Sabit bir kural yoktur; içerik türünüze, gelir modelinize ve AI görünürlüğüne verdiğiniz değere göre değişir. Çoğu hizmet ve ürün işletmesi için canlı erişim botlarına izin vermek, eğitim botları konusunda ise kendi risk toleransınıza göre karar vermek makul bir başlangıç noktasıdır.

Yoğun AI bot trafiği sunucumu yorabilir mi?

Evet, özellikle sınırlı kaynaklı hosting paketlerinde bazı AI botlarının agresif tarama davranışı performans sorunlarına yol açabilir. Bu durumda robots.txt ile birlikte sunucu düzeyinde hız sınırlama (rate limiting) çözümlerini değerlendirebilirsiniz.

Sonuç

AI botları, arama motoru botlarının yanına eklenen yeni ve hızla büyüyen bir kategori. Onları toptan engellemek ya da toptan izin vermek yerine, eğitim botları ile canlı erişim botları arasındaki farkı anlayarak, kendi işletmenizin hedeflerine uygun, bilinçli bir robots.txt stratejisi kurmanız en sağlıklı yaklaşımdır. Bu konuyu tamamlayıcı bir GEO aracıyla birlikte ele almak isterseniz llms.txt nedir ve nasıl oluşturulur yazımıza göz atabilirsiniz.

Sitenizin robots.txt yapılandırmasının ve genel AI görünürlüğünün mevcut durumunu görmek isterseniz, SeoPulse'un ücretsiz analizi ile teknik SEO'dan yapay zekâ görünürlüğüne kadar 33 modülde sitenizi tarayabilirsiniz.