Wat is crawl budget?
Crawl budget is de ruimte die Google heeft om alle pagina’s van jouw website te crawlen. Het is een veelbesproken onderdeel onder SEO-specialisten. Volgens velen is het zaak altijd rekening te houden met het crawl budget en daarom het aantal pagina’s van je website goed in de gaten te houden. Te veel (overbodige) pagina’s zou ten koste kunnen gaan van de vindbaarheid van je website.
Google over crawl budget
Google zelf heeft aangegeven dat crawl budget vrijwel nooit een probleem hoeft te zijn. Alleen websites met miljoenen pagina’s zouden zich daar zorgen over hoeven maken. Of het nu werkelijk zo is of niet, het kan natuurlijk geen kwaad om je website goed bij te houden en overbodige pagina’s uit de index te houden.
Overbodige pagina’s
Er zijn sowieso overbodige pagina’s die je uit de index wilt houden, los van crawl budget. Voordeel is dan wel dat die daar sowieso niet een aanslag op doen. Zo zijn de pagina’s met je mediabestanden (onder andere de afbeeldingen) nu niet echt relevant voor je mogelijke bezoekers. Zorg er dus voor dat die niet in je sitemap staan, net als andere overbodige pagina’s, zoals bijvoorbeeld:
- Loginpagina’s
- Aanmeldpagina’s
- Bedankpagina’s
Je kunt er vast zelf nog wel wat bedenken. Webpagina’s die jouw bezoeker echt niet in een zoekmachine hoeft te vinden om er zo mee op jouw website terecht te komen. Die hoeft de zoekmachine dan ook niet te crawlen.
Wat we verder weten
Wat naast het aantal pagina’s een rol speelt is de tijd die Google nodig heeft om de webpagina’s te crawlen. De laadtijd van je pagina’s heeft dus ook invloed op het crawl budget. Uiteindelijk is tijd beperkt, ook voor de Googlebot. De zoekmachine wordt ook beperkt in de tijd en er komen alleen maar nieuwe webpagina’s bij. Het beste wat je dus kunt doen als je je zorgen maakt om het crawl budget is de laadtijd van je webpagina’s zo laag mogelijk te houden. Zorg dus voor snelle hosting, niet te grote en goed gecomprimeerde afbeeldingen en zo schoon mogelijke code.
