Robots.txt Nedir ve Nasıl Oluşturulur?

Bir arama motoru botu sitenize ilk adımını attığında, en önce baktığı dosyalardan biri robots.txt'tir. Bu küçük metin dosyası, Googlebot gibi tarayıcılara sitenizin hangi bölümlerini tarayabileceklerini, hangilerinden uzak durmaları gerektiğini söyler. Peki robots.txt nedir, nasıl çalışır ve bir web sitesi için gerçekten neden bu kadar önemlidir?

Bu rehberde robots.txt'in temel söz dizimini, örnek bir dosyanın nasıl oluşturulacağını, en sık yapılan hataları ve robots.txt'in noindex etiketinden farkını adım adım anlatıyoruz. İster yeni kurulmuş bir siteniz olsun ister yıllardır yayında olan bir e-ticaret platformunuz, bu dosyayı doğru yapılandırmak taranabilirliğinizin temelini oluşturur.

Kısa tanım: robots.txt, bir web sitesinin kök dizininde (ör. siteadi.com/robots.txt) bulunan; arama motoru botlarına hangi URL yollarını tarayabileceklerini ve hangilerini taramaması gerektiğini bildiren, düz metin biçiminde bir talimat dosyasıdır. "Robots Exclusion Protocol" adı verilen, botlar tarafından yaygın biçimde desteklenen bir standarda dayanır.

Robots.txt Nedir ve Ne İşe Yarar?

robots.txt'in temel görevi, arama motoru botlarının tarama (crawling) davranışını yönlendirmektir. Bunu üç ana amaç için kullanırsınız:

• Tarama bütçesini (crawl budget) korumak. Özellikle binlerce sayfası olan bir e-ticaret sitesinde, Googlebot'un zamanını filtre sayfaları, sepet veya admin paneli gibi değersiz URL'lerde harcamasını istemezsiniz. Bu sayfaları engelleyerek botun asıl önemli ürün ve kategori sayfalarına odaklanmasını sağlarsınız.
• Yinelenen veya düşük değerli içeriği taramadan uzak tutmak. Arama sonuçları sayfaları, sıralama/filtre parametreli URL'ler ya da iç arama sonuçları genelde robots.txt ile engellenir.
• Sitemap konumunu bildirmek. robots.txt dosyasına eklenen bir satır, botlara site haritanızın nerede olduğunu doğrudan gösterir.

Örneğin İstanbul'da orta ölçekli bir e-ticaret sitesi düşünün: ürün filtreleme sisteminde renk, beden ve fiyat kombinasyonlarından on binlerce URL varyasyonu otomatik oluşuyor olabilir. Bunların hepsi taranırsa hem sunucu yükü artar hem de Googlebot gerçek ürün sayfalarına daha geç ulaşır. robots.txt tam burada devreye girer.

Şunu da netleştirmek gerekir: robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır (herhangi biri siteadi.com/robots.txt yazarak görebilir) ve kötü niyetli botlar bu talimatlara uymak zorunda değildir. Hassas verileri gizlemek için robots.txt'e güvenmeyin; bunun yerine parola koruması veya sunucu düzeyinde erişim kısıtlaması kullanın.

Robots.txt Söz Dizimi Nasıl Çalışır?

robots.txt birkaç basit direktiften oluşur. Her biri belirli bir bot grubuna (User-agent) yönelik kurallar tanımlar.

User-agent

Kuralın hangi bot için geçerli olduğunu belirtir. * işareti "tüm botlar" anlamına gelir; belirli bir bota özel kural yazmak isterseniz botun adını yazarsınız (ör. Googlebot, Bingbot).

Disallow ve Allow

Disallow, belirtilen yolun taranmasını engeller. Allow, genel bir engelleme kuralı içinde istisna tanımlamak için kullanılır — örneğin bir klasörü tamamen engelleyip içindeki tek bir dosyaya izin vermek isteyebilirsiniz.

Sitemap

Site haritanızın tam URL'sini belirtir. Bu satır herhangi bir User-agent bloğuna bağlı değildir, dosyanın herhangi bir yerine eklenebilir. Sitemap dosyasının ne olduğunu ve nasıl oluşturulacağını XML sitemap nedir yazımızda ayrıntılı anlattık.

Aşağıdaki tabloda en sık kullanılan direktifleri özetledik:

Dikkat: Crawl-delay direktifini Bing ve Yandex gibi bazı botlar destekler, ancak Googlebot bu direktifi dikkate almaz. Google için tarama hızı tercihinizi Search Console üzerinden ayarlayabilirsiniz.

Örnek Robots.txt Dosyası

Orta büyüklükte bir e-ticaret sitesi için tipik bir robots.txt dosyası şöyle görünebilir:

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?siralama=
Disallow: /*?filtre=
Allow: /

User-agent: Googlebot-Image
Allow: /gorseller/

Sitemap: https://www.ornek-site.com.tr/sitemap.xml

Bu örnekte admin paneli, sepet, ödeme ve iç arama sayfaları taramadan çıkarılırken; site geri kalanı serbest bırakılıyor ve Google'a sitemap konumu bildiriliyor. Kendi siteniz için dosyayı oluştururken hangi URL yollarının gerçekten değersiz olduğunu iyice düşünün — gereğinden fazla engelleme, önemli sayfaların da gözden kaçmasına yol açabilir.

Robots.txt Nasıl Oluşturulur ve Yayınlanır?

1. 1Düz metin dosyası oluşturun. robots.txt herhangi bir metin editöründe (Not Defteri, VS Code vb.) yazılabilen basit bir .txt dosyasıdır.
2. 2Kök dizine yükleyin. Dosya mutlaka sitenizin kök dizininde olmalı: https://siteadi.com/robots.txt. Bir alt klasöre konursa (siteadi.com/blog/robots.txt) geçersizdir.
3. 3CMS kullanıyorsanız eklenti veya yerleşik ayarları kontrol edin. WordPress'te Yoast SEO, Rank Math gibi eklentiler robots.txt içeriğini panelden düzenlemenize izin verir; birçok CMS ayrıca varsayılan bir robots.txt otomatik oluşturur.
4. 4Search Console ile test edin. Google Search Console'daki robots.txt raporu, dosyanızın Google tarafından nasıl yorumlandığını ve hangi hataların bulunduğunu gösterir.
5. 5Değişikliklerden sonra yeniden kontrol edin. robots.txt'i her güncellediğinizde, kritik sayfaların yanlışlıkla engellenmediğinden emin olun.

Bu adımları kendi siteniz için pratik biçimde uygulamak isterseniz robots.txt ve sitemap denetimi rehberimize göz atabilirsiniz; adım adım kontrol listesiyle mevcut dosyanızdaki sorunları tespit etmenize yardımcı olur.

Sık Yapılan Robots.txt Hataları

robots.txt'te tek satırlık bir hata bile sitenizin görünürlüğünü ciddi biçimde etkileyebilir. En sık karşılaşılan hatalar:

• Tüm siteyi yanlışlıkla engellemek. Disallow: / satırı tüm sitenin taranmasını engeller. Bu genelde geliştirme (staging) ortamından canlıya geçerken unutulan bir satırdan kaynaklanır — yeni yayına giren bir sitenin Google'da hiç görünmemesinin en klasik nedenlerinden biridir.
• CSS ve JavaScript dosyalarını engellemek. Eskiden yaygın bir pratikti; ancak Google artık sayfaları gerçek bir tarayıcı gibi render ediyor. CSS/JS engellenirse Google sayfanın gerçek görünümünü ve mobil uyumluluğunu doğru değerlendiremez.
• Yanlış yazım ve büyük/küçük harf hataları. robots.txt büyük/küçük harfe duyarlıdır; /Admin/ ile /admin/ farklı yollar sayılır.
• robots.txt'i "gizlilik" aracı gibi kullanmak. Daha önce belirttiğimiz gibi, engellenen bir sayfanın URL'si yine de görülebilir ve hatta bazı durumlarda içerik olmadan bile arama sonuçlarında listelenebilir.
• Sitemap satırını eklemeyi unutmak. Küçük ama kolayca gözden kaçan bir ayrıntı; sitemap konumunu belirtmek botların keşif sürecini hızlandırır.
• Trailing slash (sonek eğik çizgi) tutarsızlığı. /kategori ve /kategori/ bazı sunucu yapılandırmalarında farklı URL'ler olarak değerlendirilebilir; kurallarınızı yazarken bu tutarlılığa dikkat edin.

Uyarı: robots.txt dosyasında yaptığınız bir yazım hatası, farkına varmadan haftalarca sitenizin taranmasını engelleyebilir. Değişiklik sonrası mutlaka Search Console'dan doğrulama yapın.

Robots.txt ile Noindex Etiketi Arasındaki Fark

Bu ikisi sıkça birbirine karıştırılır, oysa tamamen farklı işler yapar:

• robots.txt, bir sayfanın taranmasını engeller. Bot sayfaya hiç uğramaz.
• noindex meta etiketi (<meta name="robots" content="noindex">), bir sayfanın indekslenmesini engeller; ancak botun sayfayı önce tarayıp bu etiketi görebilmesi gerekir.

Burada kritik bir çelişki ortaya çıkabilir: Bir sayfayı hem robots.txt ile engelleyip hem de o sayfaya noindex etiketi koyarsanız, Google bu etiketi hiçbir zaman göremez çünkü sayfayı taramasına izin verilmemiştir. Sonuç olarak sayfa, içeriği olmadan (yalnızca başka sitelerden gelen bağlantılar üzerinden) yine de indekste görünmeye devam edebilir. Bir sayfayı arama sonuçlarından tamamen çıkarmak istiyorsanız doğru yöntem, sayfanın taranmasına izin verip noindex etiketini kullanmaktır.

Sayfanın indekslenme sürecini daha ayrıntılı öğrenmek isterseniz Google indeksleme rehberimize göz atabilirsiniz.

AI Botları ve Robots.txt

2026 itibarıyla robots.txt yalnızca geleneksel arama botlarını değil, yapay zekâ şirketlerinin veri toplama botlarını da ilgilendiriyor. GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended ve PerplexityBot gibi botlar, içeriğinizi yapay zekâ modellerini eğitmek veya canlı yanıtlar üretmek için tarıyor.

Bu botları robots.txt üzerinden ayrı ayrı yönetebilirsiniz — örneğin geleneksel arama motoru taramasına izin verirken AI eğitim botlarını engelleyebilirsiniz. Bu kararı verirken markanızın yapay zekâ araçlarında (ChatGPT, Perplexity gibi) görünür olmasının sizin için değerli olup olmadığını değerlendirin; birçok işletme için bu görünürlük artık ek bir organik kazanım kanalı hâline geliyor. Konuyu daha derinlemesine incelemek isterseniz AI botları ve robots.txt yönetimi yazımıza bakabilirsiniz.

Sık karşılaşılan AI botlarından bazıları ve genel amaçları:

Bu listeyi kendi robots.txt dosyanızda User-agent bloklarıyla eşleştirip her biri için ayrı Allow/Disallow kararı verebilirsiniz. Bot adları ve politikaları zamanla değişebildiği için, karar vermeden önce ilgili şirketin güncel dokümantasyonunu kontrol etmenizi öneririz.

Hızlı Kontrol Listesi

Kendi robots.txt dosyanızı gözden geçirirken şu maddeleri sırayla kontrol edin:

• Dosya https://siteadi.com/robots.txt adresinde, tam olarak bu isimle mi duruyor?
• Disallow: / gibi tüm siteyi engelleyen bir satır yanlışlıkla kalmış mı?
• CSS, JavaScript veya görsel klasörleri gereksiz yere engelleniyor mu?
• Sitemap satırı doğru ve güncel URL'yi mi gösteriyor?
• noindex eklemek istediğiniz sayfalar, aynı zamanda robots.txt'te de engellenmiş mi (çelişki var mı)?
• Search Console'daki robots.txt raporu son değişikliği doğru yorumluyor mu?

Sıkça Sorulan Sorular

Robots.txt dosyası sıralamamı doğrudan iyileştirir mi?

Hayır. robots.txt bir sıralama faktörü değildir; yalnızca taramayı yönetir. Ancak tarama bütçesini doğru yöneterek önemli sayfalarınızın daha hızlı keşfedilip indekslenmesine dolaylı olarak katkı sağlar.

Sitemde robots.txt dosyası yoksa ne olur?

Dosya bulunmazsa botlar genellikle sitenizin tamamını taramakta serbest kabul eder. Küçük bir site için bu sorun yaratmayabilir, ama tarama verimliliği ve sitemap bildirimi için yine de bir robots.txt dosyası oluşturmanız önerilir.

Robots.txt dosyamı nasıl test edebilirim?

Google Search Console'daki robots.txt test aracını kullanabilir veya tarayıcınızdan doğrudan siteadi.com/robots.txt adresine giderek dosyanın canlı hâlini görebilirsiniz.

WordPress'te robots.txt nasıl düzenlenir?

WordPress varsayılan olarak sanal bir robots.txt üretir. Yoast SEO, Rank Math gibi SEO eklentileri veya doğrudan FTP/dosya yöneticisi üzerinden kök dizine fiziksel bir robots.txt dosyası yükleyerek içeriği özelleştirebilirsiniz.

Bir sayfayı robots.txt ile engellersem Google onu tamamen unutur mu?

Hayır, garanti değildir. Daha önce indekslenmiş veya başka sitelerden bağlantı alan bir sayfa, içeriği taranamasa bile URL olarak arama sonuçlarında görünmeye devam edebilir. Sayfayı tamamen kaldırmak için noindex + tarama izni kombinasyonunu kullanın.

Sonuç

robots.txt küçük bir dosya olsa da, sitenizin arama motorlarıyla kurduğu ilk temasın kurallarını belirler. Doğru yapılandırılmış bir robots.txt; tarama bütçenizi korur, sitemap'inizi bildirir ve botların değersiz sayfalarda vakit kaybetmesini önler. Yanlış yapılandırıldığında ise tüm sitenizin görünmez olmasına kadar giden ciddi sorunlara yol açabilir.

Kendi sitenizin robots.txt dosyasının doğru yapılandırılıp yapılandırılmadığından emin değilseniz, SeoPulse'un ücretsiz analizi ile saniyeler içinde kontrol edebilirsiniz; teknik SEO'dan indeksleme sorunlarına kadar 33 modülde sitenizi tarayıp size somut, uygulanabilir bir yol haritası sunar.