Arama Motorları Nasıl Çalışır? Tarama, İndeksleme ve Sıralama

Google'a herhangi bir şey yazıp Enter'a bastığınızda, saniyenin çok altında bir sürede milyonlarca sayfa arasından size en uygun olanları seçip listeler. Bu hızın arkasında, aylar hatta yıllar öncesinden başlayan devasa bir arka plan süreci vardır. "Arama motorları nasıl çalışır?" sorusunun cevabını anlamak, SEO çalışmalarınızın neden işe yaradığını (ya da yaramadığını) kavramanızın da anahtarıdır.

Teknik bir geçmişiniz olmasa da, bu süreci bir kez netleştirdiğinizde SEO'da yaptığınız her çalışmanın neden işe yaradığını çok daha rahat anlarsınız. Bu yazıda Google'ın (ve genel olarak arama motorlarının) bir web sayfasını bulmasından arama sonuçlarında göstermesine kadar geçen üç aşamayı sade bir dille anlatıyoruz: tarama, indeksleme ve sıralama. Ayrıca robots.txt, site haritası (sitemap), JavaScript ile oluşturulan sayfaların indekslenmesi ve bir sayfanın neden indekslenmeyebileceği gibi pratik konulara da değineceğiz.

Kısa tanım: Arama motorları üç aşamada çalışır: önce internetteki sayfaları tarar (crawling), sonra bulduğu sayfaları analiz edip bir veritabanına kaydeder (indexing), son olarak bir arama yapıldığında bu veritabanındaki en alakalı sayfaları sıralar (ranking). Bu üç aşamadan herhangi birinde sorun varsa, sayfanız arama sonuçlarında hiç görünmeyebilir.

Arama Motorları Nasıl Çalışır? Üç Aşamalı Sistem

Süreci bir kütüphaneye benzetebilirsiniz:

1. 1Yeni kitaplar kütüphaneye gelir — bu taramadır.
2. 2Kitaplar konularına göre kataloglanıp raflara yerleştirilir — bu indekslemedir.
3. 3Bir okuyucu belirli bir konuda kitap istediğinde, kütüphaneci en uygun kitapları önerir — bu sıralamadır.

Şimdi bu üç aşamayı tek tek inceleyelim.

1. Tarama (Crawling): Googlebot Sitenizi Nasıl Bulur?

Google, Googlebot adı verilen otomatik yazılımlarla interneti sürekli dolaşır. Googlebot bir sayfaya ulaştığında, o sayfadaki tüm bağlantıları (linkleri) takip ederek yeni sayfalar keşfeder. Yani sitenizdeki bir sayfanın taranabilmesi için, ya başka bir sayfadan (kendi sitenizden ya da dışarıdan) bir bağlantı alması ya da site haritanızda listelenmesi gerekir.

Örneğin İzmir'de yeni açılan bir kuaför salonunun web sitesi henüz hiçbir yerden bağlantı almıyorsa, Googlebot bu siteyi ancak site haritası üzerinden ya da Search Console'a manuel gönderim yaparak bulabilir; kendiliğinden keşfetmesi zaman alabilir.

Tarama aşamasında iki dosya kritik rol oynar:

• `robots.txt`: Sitenizin kök dizininde bulunan bu basit metin dosyası, botlara hangi bölümleri tarayıp taramaması gerektiğini söyler.
• XML site haritası (`sitemap.xml`): Sitenizdeki tüm önemli sayfaların listesini botlara sunan bir rehberdir.

Basit bir robots.txt örneği şöyle görünür:

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Allow: /

Sitemap: https://www.orneksite.com.tr/sitemap.xml

Büyük sitelerde Googlebot'un her sayfayı her gün taramasını beklemek gerçekçi değildir; bot, sitenin büyüklüğüne ve güncellenme sıklığına göre taramasını önceliklendirir. Bu önceliklendirmeye genellikle tarama bütçesi (crawl budget) denir: Google, bir siteye ayıracağı tarama kaynağını sitenin büyüklüğü, sunucu hızı ve içerik kalitesi gibi etkenlere göre belirler. Küçük ve orta ölçekli çoğu site için bu genellikle sorun yaratmaz; ancak binlerce sayfası olan büyük sitelerde gereksiz, düşük değerli sayfaların taranması, önemli sayfaların taranmasını geciktirebilir.

Bu yüzden yeni yayınladığınız bir sayfanın hızla keşfedilmesini istiyorsanız, onu güçlü bir sayfadan iç link ile bağlamak ve site haritanıza eklemek en etkili yöntemdir.

2. İndeksleme (Indexing): Render ve İçerik Analizi

Taranan bir sayfa otomatik olarak arama sonuçlarına girmez. Google önce sayfayı işler (render eder) — yani bir tarayıcı gibi HTML, CSS ve gerekiyorsa JavaScript'i çalıştırıp sayfanın son halini oluşturur — sonra içeriği analiz eder: sayfa ne hakkında, hangi kelimeleri içeriyor, başlığı ve açıklaması ne, hangi görselleri var. Bu bilgi devasa bir veritabanına, yani indekse, kaydedilir.

Burada geliştiriciler için önemli bir ayrıntı var: sitenizin içeriği JavaScript ile sonradan yükleniyorsa (örneğin bir tek sayfa uygulaması ile kurulmuşsa), Google bu içeriği görebilmek için ekstra bir render adımına ihtiyaç duyar. Bu adım her zaman anında gerçekleşmez; bazı durumlarda içeriğin indekslenmesi gecikebilir ya da eksik gerçekleşebilir. Bu konuyu ayrıntılı ele aldığımız JavaScript SEO yazımızda render sürecini ve dikkat edilmesi gerekenleri bulabilirsiniz.

Bir sayfanın indekslenmemesinin en sık nedenlerinden biri, sayfanın <head> bölümünde bilinçli ya da yanlışlıkla eklenmiş bir noindex etiketidir:

<meta name="robots" content="noindex">

Bu etiket varsa, sayfa taranabilir olsa bile Google onu indekse hiç eklemez — dolayısıyla arama sonuçlarında asla çıkmaz.

Google'ın bir sayfayı işlemesi tek seferde bitmeyebilir. Basit HTML sayfalarda tarama ve render genellikle aynı anda gerçekleşir; ancak içeriği JavaScript ile sonradan yüklenen sayfalarda Google önce ham HTML'i alıp bir ilk değerlendirme yapar, render işlemini (ve dolayısıyla JavaScript ile eklenen içeriğin tam olarak okunmasını) sunucu yoğunluğuna bağlı olarak daha sonraki bir aşamaya bırakabilir. Pratikte bu, JavaScript ağırlıklı sitelerde indekslemenin klasik HTML sitelere göre daha yavaş ve öngörülemez seyredebileceği anlamına gelir.

3. Sıralama (Ranking): En Alakalı Sonucu Seçmek

Birisi arama yaptığında Google, indeksindeki milyarlarca sayfa arasından o sorguyla en alakalı olanları saniyenin çok altında bir sürede seçip sıralar. Bu seçim; içeriğin alaka düzeyi, kalitesi ve derinliği, sayfanın hızı ve mobil uyumluluğu, sitenin genel güvenilirliği ve otoritesi, kullanıcı deneyimi gibi çok sayıda sinyale dayanır. Örneğin "ankara diş kliniği" araması yapan bir kullanıcıya Google; konuyla alakalı, hızlı açılan, mobilde düzgün görünen ve güvenilir bulduğu klinik sayfalarını öne çıkarır — yalnızca "diş kliniği" kelimesini çok sayıda tekrar eden bir sayfayı değil.

SEO çalışmalarının büyük kısmı, aslında bu üçüncü aşamada Google'a "kullanıcının aradığı cevap bende" sinyalini net biçimde vermeye odaklanır. Bu sinyallerin tamamını Google sıralama faktörleri yazımızda derledik.

Google'ın sıralama sinyallerini değerlendirirken sıkça kullandığı bir kısaltma E-E-A-T'tir: Deneyim (Experience), Uzmanlık (Expertise), Otorite (Authoritativeness) ve Güvenilirlik (Trustworthiness). Bu dört unsur doğrudan bir "puanlama formülü" değildir; daha çok Google'ın kaliteyi değerlendirirken sorduğu sorulara benzer: İçeriği gerçekten bu konuda deneyimi olan biri mi yazmış? Site bu konuda güvenilir mi? Bu sorulara ne kadar olumlu cevap verebiliyorsanız, sıralama aşamasında o kadar avantajlısınız demektir.

Google Dışında: Bing, Yandex ve Yapay Zekâ Botları

Bu yazıda anlattığımız tarama-indeksleme-sıralama mantığı yalnızca Google'a özgü değildir; Bing, Yandex gibi diğer arama motorları da benzer bir mimariyle çalışır, her birinin kendi botu ve kendi sinyal ağırlıkları vardır. Türkiye'de aramaların büyük çoğunluğu Google üzerinden yapıldığı için SEO çalışmalarının odağı genellikle Google'dır.

Son dönemde bu tabloya yeni bir katman eklendi: ChatGPT, Perplexity gibi yapay zekâ araçlarının kullandığı botlar da siteleri tarayıp cevaplarında referans olarak kullanabiliyor. Bu botların çalışma mantığı klasik aramaya benzese de, hangi içeriği ne şekilde kullandıkları farklılık gösterebilir. Sitenizin robots.txt dosyasında bu botlara özel kurallar tanımlamak isteyip istemediğinizi bilinçli biçimde değerlendirmenizde fayda var.

Sayfanız Neden İndekslenmeyebilir?

Bir sayfanın taranmış olması, indekslendiği anlamına gelmez. En sık karşılaşılan indekslenmeme nedenleri şunlardır:

Bu tabloyu Search Console'daki Sayfalar raporuyla birlikte kullanmanızı öneririz; her satırın karşılığını burada gerçek verilerle görebilirsiniz. Konuyu daha derinlemesine ele aldığımız indeksleme sorunları yazımıza da göz atabilirsiniz.

robots.txt ve Site Haritası: Botlara Yol Haritası Çizin

Tarama ve indeksleme aşamalarını sağlıklı yürütmek için iki dosyanızın düzenli olması gerekir:

• robots.txt dosyanızın gereksiz yere önemli bölümleri engellemediğinden emin olun. Ayrıntılı rehber için robots.txt nedir yazımıza bakabilirsiniz.
• XML site haritanızın güncel olduğundan ve yalnızca indekslenmesini istediğiniz sayfaları içerdiğinden emin olun. Kapsamlı bilgi için XML sitemap nedir yazımızı inceleyebilirsiniz.
• Sitenize yeni bölümler eklediğinizde ya da eski sayfaları kaldırdığınızda, site haritanızı da güncellemeyi unutmayın; güncel olmayan bir site haritası botları yanlış yönlendirebilir.

İpucu: Bir sayfanın Google'da indekslenip indekslenmediğini hızlıca kontrol etmek için Search Console'daki "URL incelemesi" aracını kullanabilir ya da tarayıcıda site:sizinalanadiniz.com.tr/sayfa-yolu şeklinde arama yapabilirsiniz.

Sıkça Sorulan Sorular

Googlebot sitemi ne sıklıkla ziyaret eder?

Bu, sitenizin büyüklüğüne, popülerliğine ve ne sıklıkla güncellendiğine göre değişir. Sık güncellenen ve otoritesi yüksek siteler genellikle daha sık ziyaret edilir; küçük ve durağan siteler ise daha seyrek taranır. Search Console'daki tarama istatistikleri raporundan kendi sitenizin durumunu görebilir, hangi sayfaların ne zaman tarandığını sayfa bazında inceleyebilirsiniz.

robots.txt ile noindex etiketi arasındaki fark nedir?

robots.txt, botun bir sayfayı taramasını engeller; sayfa yine de başka yollardan (örneğin dış bağlantılardan) indekse girebilir. noindex etiketi ise sayfanın taranmasına izin verir ama Google'a bu sayfayı indekse hiç eklememesini söyler. İki mekanizma farklı amaçlarla kullanılır ve birbirinin yerine geçmez.

JavaScript ile oluşturulan bir site indekslenir mi?

Evet, ancak süreç HTML tabanlı sitelere göre daha karmaşıktır. Google, JavaScript içeriğini görebilmek için önce sayfayı render eder; bu ek adım bazı durumlarda gecikmelere ya da eksik indekslemeye yol açabilir. Kritik içeriğin mümkünse sunucu tarafında oluşturulması güvenli bir yaklaşımdır.

Bir sayfamın indekslenip indekslenmediğini nasıl anlarım?

En güvenilir yöntem, Google Search Console'daki "URL incelemesi" aracına sayfanın adresini yapıştırmaktır; araç size sayfanın indekste olup olmadığını ve olmama nedenini gösterir. Alternatif olarak tarayıcıda site: operatörüyle arama yapabilirsiniz, ancak bu yöntem her zaman tam kesin sonuç vermez.

Tarama ile indeksleme aynı şey mi?

Hayır, ikisi farklı aşamalardır. Tarama, Googlebot'un bir sayfayı ziyaret edip içeriğini okumasıdır; indeksleme ise bu içeriğin analiz edilip arama motorunun veritabanına kaydedilmesidir. Bir sayfa taranmış olabilir ama çeşitli nedenlerle hiç indekslenmemiş olabilir; bu yüzden Search Console'da bu iki durumu ayrı ayrı raporlar.

Sonuç

Arama motorlarının nasıl çalıştığını anlamak, SEO'yu "gizemli" bir alan olmaktan çıkarır. Tarama, indeksleme ve sıralama; her biri kendi kurallarına sahip, birbirine bağlı üç aşamadır. Sitenizin görünür olmasını istiyorsanız, önce botların sitenizi rahatça tarayıp indeksleyebildiğinden emin olmanız, sonra sıralama sinyallerine odaklanmanız gerekir.

Sitenizin şu anda bu üç aşamadan hangisinde sorun yaşadığını bilmiyorsanız, SeoPulse'un ücretsiz analizi taranabilirlik, indekslenebilirlik ve sıralama sinyallerini tek raporda ortaya koyar.