Crawlen is een term die voorbijkomt als Google bezig is met het indexeren van een website. Deze twee zaken zijn dan ook nauw met elkaar verbonden en onderdeel van zoekmachine optimalisatie. Crawlen zorgt er uiteindelijk voor dat Google je website niet alleen vindt, maar ook begrijpt.
Wat is crawlen?
De letterlijke vertaling van het woord is ‘kruipen’. In werkelijkheid is dit eigenlijk ook waar crawlen op neerkomt. Om iets specifieker te zijn: een website wordt doorzocht door een soort spider of bot. Deze kruipt als het ware over de pagina heen om de inhoud en structuur begrijpelijk te maken voor Google. Nadat de pagina volledig gecrawld is, kan deze geïndexeerd worden. Met alleen een pagina die volledig klopt op het gebied van zoekvolume en keyword density kom je er dus niet.
De meest gunstige situatie is dat je nieuwe pagina meteen gecrawld wordt door Google, zodat deze snel vindbaar is. Vaak laat Google even op zich wachten en kan het één of twee dagen duren, maar het komt ook weleens voor dat dit een aantal weken duurt.
Google opnieuw laten crawlen
Crawlen is niet iets dat alleen bij nieuwe pagina’s gebeurt. Google stelt de index regelmatig opnieuw samen en daarvoor wordt er steeds opnieuw gecrawld. Nadat een pagina voor de eerste keer is gecrawld, gebeurt dit daarna nog regelmatig opnieuw. Hoe vaak een pagina gecrawld wordt, is onder andere afhankelijk van de ranking in de SERP en de links van en naar een pagina. Hoewel je niet volledig zelf in de hand hebt wanneer een nieuwe website wordt gecrawld, kun je Google wel een seintje geven dat je hierop zit te wachten. Dit doe je als volgt:
- Open Google Search Console
- Als je voor het eerst een website laat crawlen, voeg je de website toe
- Open sitemaps, geef de sitemap-URL van je website op en verzend deze
Vervolgens is het afwachten wanneer je website gecrawld en geïndexeerd wordt. Als je bepaalde pagina’s opnieuw wil laten crawlen en indexeren door bijvoorbeeld nieuwe webteksten, dien je de URL van de pagina in te vullen bij URL-inspectie. Hier kun je zien of de URL al geïndexeerd is en Google vragen om de pagina opnieuw te indexeren.
Crawlfouten
Het komt weleens voor dat het Google niet is gelukt om een pagina te crawlen. Op dat moment ontstaat er een crawlfout. Vaak worden deze weergeven als een 404-foutmelding. Dit houdt in dat de desbetreffende pagina niet wordt gevonden. Het is belangrijk om deze crawlfouten in de gaten te houden en tijdig op te lossen, zodat je Google niet het idee geeft dat je je website niet goed bijhoudt. Te veel crawlfouten in een website hebben effect op de ranking en dat wil je natuurlijk voorkomen.
Het is dus aan te raden om regelmatig Google Search Console te openen en je crawlfouten te verhelpen. Als er sprake is van een zo’n fout, los je deze op via een 301 redirect.