Crawl bütçesi ve siteniz için optimum tarama hızı
Crawl budget kavramı, GSC ile tüketim takibi ve tarama hızı optimizasyonu.
TL;DR
Crawl bütçesi arama motorunun sitenize tahsis ettiği günlük tarama kapasitesidir. Düşük değerli sayfalar bütçeyi tüketir. Sitemap optimize edilmesi ve teknik temizlik bütçeyi serbest bırakır.
Crawl bütçesi nedir
Crawl budget iki bileşenin toplamıdır:
- Crawl rate limit: Sunucunuzun kapasitesi. Yavaş sunucu = düşük rate.
- Crawl demand: Sitenizin Google için önemi. Popüler ve güncel siteler yüksek demand alır.
Bu ikisi çarpılarak günlük taranan sayfa sayısı belirlenir. Küçük siteler için sorun değildir. 10.000+ sayfa siteleri için optimization gerekir.
GSC üzerinden tüketim takibi
1. Olçüm ve Sıralama > Crawl İstatistikleri sayfasını açın. 2. Son 90 gün GSC'den çekilen crawl stats gösterilir: - Toplam crawl talebi - Ortalama response time - Status code breakdown 3. Düşük değer trafiği grafiği problematik URL pattern'lerini gösterir. 4. Faceted navigation, parametreli URL'ler, infinite pagination en yaygın tüketicilerdir.
Optimizasyon adımları
- Robots.txt dosyasında düşük değerli URL pattern'lerini Disallow ile engelleyin. Örnek: `Disallow: /*?sort=`, `Disallow: /*?filter=`
- Internal linkler: Düşük değerli URL'lere iç link vermeyin. Filtre kombinasyonlarına link bırakmayın.
- Sitemap önceliklendirme: Sitemap'te sadece kaliteli, indekslenmesi istenen URL'leri tutun.
- Canonical tags: Parametreli URL'lerden temiz canonical URL'ye yönlendirin.
- 404 ve redirect chain temizliği: Bu sayfalar bütçeyi boşa harcar.
Her aksiyon Action Center kuyruğunda takip edilir.
Frequently Asked
Küçük sitem için crawl budget önemli mi?+
1000 sayfanın altındaki siteler için genelde değildir. 10.000+ sayfa olan e-ticaret, haber siteleri ve forum'lar için kritiktir.
Crawl rate'i artırmak için ne yapabilirim?+
Sunucu response time'ı düşürün, 200 status oranını artırın. Düşük 5xx hata oranı = yüksek crawl rate.
Sitemap'i sadece önemli URL'lerle tutmam yeterli mi?+
Faydalıdır ama yeterli değildir. Robots.txt + iç link kontrolü + canonical bir arada uygulanır.
Faceted navigation tamamen Disallow edilmeli mi?+
Hayır. Önemli filtre kombinasyonları (örnek: kırmızı elbise) trafik çekebilir. Düşük değer kombinasyonları (sıralama, görünüm modu) Disallow edilir.
Crawl budget düştü, ne yapmalıyım?+
Önce sunucu sağlığını kontrol edin (response time, 5xx oranı). Sonra düşük değer URL pattern'lerini robots.txt'e ekleyin. 4-8 hafta içinde toparlanır.
WAS THIS HELPFUL?
Related