Robots.txt & XML Sitemap
robots.txt, arama motoru botlarına sitenin hangi bölümlerini tarayabileceğini söyleyen küçük bir metin dosyasıdır; XML sitemap ise tüm önemli sayfalarınızın listesini Google'a sunan bir haritadır. İkisi de sitenin kök dizininde bulunur.
Neden önemli?
robots.txt yanlış yapılandırılırsa Google değerli sayfaları hiç taramaz; CSS/JS dosyalarını engellerse sayfayı düzgün göremez ve mobil uyumu yanlış değerlendirir. Sitemap eksikse yeni ve derin sayfalar çok daha yavaş keşfedilir. Doğru kurulum, Google'ın sitenizi hızlı ve eksiksiz taramasını sağlar.
Sitenizde nasıl anlarsınız?
SeoPulse raporunda 'robots.txt' veya 'Sitemap' değeri 'Yok' görünüyorsa ya da 'robots.txt render kaynaklarını (CSS/JS) engelliyor' / 'Sitemap ↔ robots.txt çelişkisi' uyarısı varsa sorun vardır. Kendiniz kontrol için: tarayıcıda siteniz.com/robots.txt ve siteniz.com/sitemap.xml adreslerine gidin. robots.txt'de tek başına 'Disallow: /' satırı varsa tüm site engellidir; sitemap adresi hata veriyorsa sitemap yok demektir.
Nasıl düzeltilir?
- 1
siteniz.com/robots.txt adresini açın; tek başına 'Disallow: /' satırı varsa ve tüm siteyi kapatmak istemiyorsanız bu satırı silin.
- 2
CSS/JS veya /assets, /wp-content gibi tasarım klasörlerini engelleyen Disallow satırlarını kaldırın; Google'ın sayfayı tam görebilmesi gerekir.
- 3
Bir XML sitemap'iniz yoksa oluşturun (WordPress'te Yoast/RankMath eklentisi otomatik üretir; özel sitede /sitemap.xml çıktısı alın).
- 4
robots.txt dosyasının en altına sitemap adresini bildiren 'Sitemap:' satırını ekleyin (aşağıdaki örnek).
- 5
Sitemap'te robots.txt ile engellenen bir URL varsa ya o URL'yi sitemap'ten çıkarın ya da Disallow kuralını düzeltin; ikisi çelişmemeli.
User-agent: *
Disallow: /wp-content/
Disallow: /assets/User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://siteniz.com/sitemap.xmlKendiniz uğraşmak istemiyor musunuz?
Bu sorunu ve raporunuzdaki diğerlerini sizin için çözelim.