Crawl Budget; tarama bütçesi olarak da bilinir. Google her sayfaya belli bir önem verir. Bu öneme bağlı olarak kaç kez ziyaret ettiği belirlenir. Bunun için belirlenen bir sınır vardır. Sınırın altında yer alan siteler için indeks alan sayfalar arama sonuç sayfasında güncel olmaz. Bu sebeple bir süre sonra sitenin değeri azalmaya başlar.
Bu terim sayesinde Google botlarının tüm sayfalarınızı gün içinde kaç defa ziyaret ettiğini öğrenebilirsiniz. Bu sayı dinamik bir yapıya sahiptir. Yani farklı günlerde botların uğrama sayısı değişebilir. Google tarafından bir sayfa indekslenmediğinde ilerleyen zamanlarda sıralama alamaz. Bu yüzden tarama bütçesi çok önemli bir kavramdır. Şimdi sizlere Crawl Budget terimini açıklayalım.
Crawl Budget Nedir?
Crawl Budget; Google tarafından web sitenize verilen öneme göre botların gün içinde ziyaret ettiği sayfa sayısıdır.
Tarama bütçeniz arama motoru tarafından sitelere verilen öneme göre ziyaret edilen sayfaların toplamıdır. Bu bütçe her site için gün gün değişen bir değerdir. Ancak belli bir aralıkta kalmaktadır.
Web sitenizin tarama bütçesi düştüğü anda sıralamanız da düşmeye başlar. Bu da web sitenizin arama motoru gözünde değerinin düşmeye başladığını gösterir. Tarama bütçeniz dizine eklenen sayfa sayısının günlük taranan sayfa sayısına bölünmesiyle hesaplanmaktadır. Bu değer sitenizle ilgili sizlere önemli bilgiler sunar.
Crawl Budget değeriniz 10’dan büyükse web siteniz için optimizasyon çalışmaları yapılmalıdır. Uzmanlara göre bu değer 3’ten düşükse optimizasyon çalışmalarınız başarılı gitmektedir. Tarama bütçesine içerikler büyük etki eder. Kullanıcı odaklı içeriklere sahip web sitelerinde bu değer olumlu yansıyacaktır. Bu süreçte değer sürekli kontrol altında tutulmalıdır.
Tarama bütçeniz gün içinde kontrol edilerek gerekli müdahaleler anlık olarak yapılmalıdır. Tarama bütçenizi optimize etmeniz web sitenizin değerinin artmasını sağlayacaktır.
Crawl Budget Nasıl Optimize Edilir?
Crawl Budget optimizasyonu yaparken dikkat etmeniz gereken bazı detaylar vardır. Tarama bütçesi optimizasyonuna konu olacak çalışmalar;
- Site Hızı
Web sitenizin hızı tarama bütçenizin belirlenmesinde çok önemlidir. Site açılma hızınız yavaşsa arama motoru botları web sitenizi istediğiniz yönde tarayamaz. Bu durumda dizine ekleme yapılamaz. Sitenizin hızlı olması ve performansının yüksek olması web sitenizden daha fazla sayfanın dizine eklenmesini sağlar. Bu yüzden öncelikle web sitenizin hızını arttırmalısınız.
- Dizine Eklenmeyecek Sayfalar
Web sitenizde yenileme geçiren düşük değerli içerikler dizine eklenirse arama motoru botları önemli sayfaları keşfedemeyebilir. Bu yüzden düşük değerli içeriklerin bulunduğu sayfaları dizin dışında tutmalısınız. Böylece tarama bütçesi optimizasyonu yaparken önemli bir adım atmış olursunuz.
- Yönlendirme Zincirleri
301 yönlendirme zincirleri, eski URL ve hedeflenen URL arasında iki ya da daha çok yönlendirme olduğunda ortaya çıkar. Yönlendirme zincirleri kullanıcı deneyimini olumsuz etkiler. Bu yüzden de tarama bütçenizin değeri de olumsuz yönde değişir. Yönlendirme zincirini tek bir 301 yönlendirmesiyle değiştirdiğinizde bu sorunu aşabilirsiniz.
- Kaliteli İçerik
Tarama bütçesi değerini olumlu yönde değiştirmenin en önemli detaylarından biri kaliteli içeriklerdir. Çünkü arama motoru botları kullanıcı deneyiminin arttığı sayfalara daha çok uğrar. Bu durumda botlar sayfanızı daha iyi anlar. Web sitenize her zaman uzun, ilgi çekici, kullanıcıyı tutacak içerikler yükleyin. Böylece web sitenizin değerini arttırabilirsiniz.
- Site Haritası
Google botlarının web sitenizi anlaması için site haritaları çok işlevseldir. Web sitenize mutlaka bir site haritası ekleyin. Ayrıca web sitenize yeni sayfa ekledikçe site haritanızı da güncel tutun. Böylece web sitenizi botların anlamasını sağlayabilirsiniz. İyi yapılandırılan web siteleri her zaman avantajlıdır.
- Kırık Bağlantılar
Tarama bütçesi optimizasyonu sürecinde kırık bağlantılarınızdan kurtulmanız gerekir. Çünkü kırık bağlantılar botların kafasını karıştırır. Google Search Console üzerinden tüm kırık bağlantılarınızı gösteren detaylı bir rapor alabilirsiniz. Bu bağlantılardan hemen kurtulun ve düzenli olarak kontroller yapın.
- URL Parametreleri
Bir sayfayı farklı URL parametreleri gösteriyorsa tarama bütçeniz olumsuz yönde değer alır. Bu yüzden mevcut URL parametrelerinizi kaldırın. Sonrasında da kullanmamanız önerilmektedir.
- Referans Bağlantıları
Google sizleri düzenli olarak her zaman ziyaret etmeyebilir. Bu durumda güncel olan web siteleri üzerinden referans bağlantıları almak yararlı olur. Google botları referans aldığınız web sitesini ziyaret ettiği anda buradan sizlerin web sitesine de uğrayacaktır. Referans backlinkleriniz ne kadar kaliteli ve doğal olursa o kadar fazla botlar sizi ziyaret eder.
- İç Link Ağı
Web sitenizde iç link ağı oluşturma da Crawl Budget optimizasyonu için önemlidir. Sitenizdeki önemli olan sayfalar arasında bir link ağı olursa arama motoru botları bir sayfayı ziyaret ettiğinde link bulunan diğer sayfaya da uğrayacaktır.
- Google Search Console
Google Search Console aracı web sitenizin tarama bütçesini olumsuz etkileyen tüm detayları sizlere sunmaktadır. Buradan düzenli olarak ölçümler yaparak bütçenize olumsuz etki yapan unsurları ortadan kaldırabilirsiniz.
- Robot.txt Kullanımı
Robots.txt dosyaları tarama bütçenize olumlu yönde etki eder. Bu sayede web sitenizde arama botlarının hangi bölümleri ziyaret edeceğini söyleyebilirsiniz. Yani komut dosyası oluşturarak arama motoru örümceklerini yönlendirebilir ve web sitenizin değerini arttırabilirsiniz.
- Sunucu Hızı
Sunucu hizmeti aldığınız firmayla yaptığınız anlaşma da önemlidir. Sunucu isteklerine hızlı bir şekilde yanıt veren sunucular tarama bütçesi değeri açısından önemlidir. Sunucu hızınızı iyileştirerek optimize çalışmalarına destek olabilirsiniz.
Sonuç
Crawl Budget arama motorlarının web sitenizi taradığı süre olarak ifade edilir. Botlar her siteye farklı oranda uğramaktadır. Bu durumu belirleyen indekslenecek sayfaların sayısıdır. Tarama bütçenizi optimize ederek ve kaliteli içerikler paylaşarak web sitenizde kullanıcı deneyimlerini iyileştirebilirsiniz. Böylece arama motoru botları web sitenize daha çok uğrayacaktır.
Google Search Console analizler, robots.txt dosyası kullanımı site haritası güncelliği, URL taranabilirliği, sitenizin içinde ve dışındaki bağlantılar, site hızı, sunucu hızı, yönlendirmeler, kırık linkler gibi birçok detay tarama bütçenizi etkiler.
Tarama bütçesi optimizasyonu teknik bir işlemdir. Bu hizmet profesyonel SEO uzmanları tarafından verilmektedir.
Kaynakça:
https://www.botify.com/blog/crawl-budget-optimization
