Buradaki indexleme arama motorlarının sizin sitenizi kendi veritabanına kaydetmesi demektir. Şimdi Google’ın sitenizi nasıl indexlediğini açıklayalım;
Google arama motorunun 3 adet bilinen “bot” u vardır. Peki bot nedir? Bot arama motoru yazılımlarının bir parçasıdır. Sitenizin her sayfasına girer, kategorilendirir ve son olarak da veritabanına kaydeder. Google’ın iyi bilinen 3 botu: Adsense Botu, FreshBot ve DeepCrawl…
a)Adsense Bot
Google’ın webmasterlar için sitelerinde içeriklerine göre reklam yayınlayıp para kazanabilecekleri bir sistemdir. Tahmin edeceğiniz gibi Adsense Botları bu reklamları yayınlayan siteler içindir. Sitenin içeriği değiştikçe veya yenisi eklendikçe Adsense reklamları içeriğe göre reklam yayınlamak için her değişmeden sonra 15 dk. içerisinde gelirler ve yeni yerleri indexleyip giderler. Fakat bizi asıl ilgilendirenler FreshBot ve DeepCrawl botlarıdır…
b)Freshbot
Freshbot sitenizdeki en popüler ve yeni sayfalar ile ilgilenirler. Bunun bir veya binlerce olması önemli değildir. Amazon.com ve CNN.com gibi sitelerin sık sık güncellendiği ve çok talep aldığı Google tarafından fark edildiğinden beri bunun gibi siteleri her 10 dakikada bir ziyaret edip kaydeder. Diğer tipik sitelere bu botun uğrama sıklığı popülerlik ve güncelleme ile orantılı olarak 1 ile 14 gün arasında değişir.
Bir FreshBot sitenizi ziyaret ettiğinde sitenizdeki linkleri tek tek gezer ve onları bir veritabanına kaydeder. Bu sayede DeepCrawl sitenize geldiği zaman bu linkler ona yol gösterir ve işini yapmasına yardımcı olur.
c)DeepCrawl
DeepCrawl ise ayda bir sitenize uğrar ve sitenizdeki bütün bilgileri indexler. Bu sitenizdeki yeni bilgilerin Google sonuçlarında neden bir ay sonra çıktığının da göstergesidir.
d) “robots.txt” Dosyasının Etkili Kullanımı
“robots.txt” dosyası arama motorlarına sitenizin belirli bölümlerine erişip erişemeyeceklerini ve dolayısıyla tarama yapıp yapamayacaklarını belirtir. “robots.txt” olarak adlandırılması gereken bu dosya sitenizin kök dizininde olmalıdır.
Sitenizdeki belirli sayfaların taranmasını istemeyebilirsiniz, çünkü arama sonuçlarında bunların bulunması ve gösterilmesi kullanıcılara yararlı olmaz. Eğer arama motorlarının sitenizdeki sayfayı taramasını engellemek istiyorsanız, Google Web Yöneticisi Araçları, bu dosyayı oluşturmanıza yardımcı olacak, kolay kullanılabilen bir robots.txt oluşturucu (robots.txt generator)sağlamaktadır. Not olarak, eğer sitenizde alt alan adı kullanıyorsanız ve bu dizinlerde belirli sayfaların taranmasını istemiyorsanız o alt alan adı için de ayrı robots.txt dosyası oluşturmanız gerekir.
Arama sonuçlarında görünmemek için bir çok yöntem vardır, örneğin robots bölümüne “NOINDEX” etiketi eklemek, şifre korumalı dizinler için .htaccess kullanmak ve Google Web Yöneticisi Araçlarını kullanarak taranmış içeriği indeksten çıkarmak gibi.
