Zoekmachinebot
De zoekmachinebot is een enorme groep computers die continu alle websites bezoekt (crawlt) om nieuwe gegevens op te halen. Nieuwe webpagina’s en wijzigingen op bestaande webpagina’s worden zo (opnieuw) gewogen voor de indexering in de zoekmachines.
Zoekmachinebots volgen veelal een vast patroon om alle bij hen bekende websites te crawlen. Dit patroon wordt gebaseerd op de regelmaat waarmee bepaalde websites worden bijgewerkt, aangevuld met sitemaps en andere data die door webmasters worden ingediend.
Algoritmes
De zoekmachinebots crawlen de websites dus, op zoek naar informatie waarop ze de indexering van websites kunnen realiseren. Deze indexering vindt plaats op basis van specifieke zoekopdrachten en wordt gebaseerd op de algoritmes van de zoekmachines. Hoe een zoekmachinebot jouw website beoordeelt kun je dus met een goede SEO-strategie beïnvloeden.
Nieuwe websites
Wanneer je een nieuwe website hebt gelanceerd, kan het enige tijd duren voor een zoekmachinebot deze heeft gevonden. Dit betekent dus dat de website niet direct wordt geïndexeerd. De zoekmachinebots komen op een gegeven moment wel langs de website, maar er zijn ook manieren om het crawlen van jet website door deze bots te bespoedigen. Ten eerste kan een bot de nieuwe website op het spoor komen wanneer deze een of meerdere links naar de website tegenkomt. Ten tweede is de snelste manier om indexering door de Googlebot te realiseren, je website aanmelden bij Google Webmaster Tools.
