Home / Crawlstatistieken rapport vernieuwd in Google Search Console

Crawlstatistieken rapport vernieuwd in Google Search Console

Steeds meer tools die beschikbaar waren in de oude interface van Google Search Console worden overgezet naar de nieuwe versie. Nu ook het crawlstatistieken rapport en dat brengt direct meer mogelijkheden met zich mee. Wat je ermee kan lees je hieronder.

Ontvang gratis SEO e-book

Crawlstatistieken van Google

Het rapport Crawlstatistieken van Google is een echte aanwinst voor SEO specialisten en developers. Het rapport bevat statistieken die de crawlgeschiedenis van Google weergeven waarbij het aantal verzoeken, de bot en wat de reactie van de server hierop is geweest laat zien. Met deze inzichten weet je precies hoe Google met haar bots door de website heen crawlt en waar het tegenaan loopt. Dit is ideaal voor SEO in 2021.

Het rapport Crawlstatistieken is eigenlijk alleen belangrijk om in de gaten te houden wanneer je meer dan 1.000 pagina’s live hebt staan. Websites met minder dan 1.000 pagina’s hebben dit rapport waarschijnlijk niet nodig.

Welke data kan je hier vinden?

Wel: Alle daadwerkelijk door Google aangevraagde en weergegeven URL’s. De beoordeling van canonical-tags wordt hier vóór of na aanvraag van de URL’s uitgevoerd.

Niet: Gehoste bronnen van externe partijen worden niet meegenomen in het rapport. Wanneer een afbeelding op een externe locatie wordt gehost, zal deze niet worden meegenomen in het rapport voor Crawlstatistieken.

Beter ranken in Google met SEO? Download de gratis SEO e-book!

Het rapport

Om het Crawlstatistieken rapport te bekijken kan je inloggen bij Google Search Console, dan klikken op ‘Instellingen’ en vervolgens navigeren naar ‘Rapport openen’ in het Crawlstatistieken tabje.

De volgende gegevens kan je vinden in het rapport:

Totaal aantal crawlverzoeken
Totale downloadtijd
Gemiddelde reactietijd
Status van de host
Crawlreacties
Bestandstype
Crawldoel
Type Googlebot

Diepgaande data inzichten

Per onderdeel kan je doorklikken naar specifiekere data om te analyseren. Zo kan je bij het bestandstype klikken op ‘HTML-bestanden’ en krijg je een overzicht van alle gecrawlde URL’s waarbij de HTML bestanden zijn gecrawld. Daarnaast is de datum van de laatste crawl te zien en de statuscode van de URL terug te vinden.

Met deze diepgaande data inzichten kan je met jouw eigen website analyseren hoe Google zicht door je website beweegt en onderdelen van de website beoordeeld. Door het gedrag van verschillende Googlebot-typen te analyseren is het mogelijk onderdelen van de website te optimaliseren voor specifieke doeleinden. Bijvoorbeeld voor de organische vindbaarheid van afbeeldingen of video’s.

Beter ranken in Google met SEO? Download de gratis SEO e-book!

Het doel van crawlen

In het nieuwe Crawlstatistieken rapport van Google zijn twee doelen geformuleerd, namelijk vernieuwen en vindbaarheid. De doelen die Googlebot voor het crawlen heeft hebben we hieronder uitgelegd:

Vernieuwen: De URL is al eens eerder gecrawld en wordt door Googlebot opnieuw beoordeeld.
Vindbaarheid: De URL is nog niet eerder door Googlebot ontdekt en wordt voor de eerste keer gecrawld.

Wanneer URL’s worden opgenomen in de XML-sitemap hebben deze eerder kans om ontdekt te worden en later vaker gecrawld te worden door Googlebot. De XML-sitemap is als het ware een handleiding voor bots en spiders om de website te crawlen. Dit is erg handig wanneer pagina’s met regelmaat worden voorzien van nieuwe content of wanneer er nieuwe pagina’s live worden geplaatst. Bij e-commerce websites (webshops) is dat bijvoorbeeld echt een must-have.

De verschillende typen Googlebots

Het rapport Crawlstatistieken is in deze vorm ontzettend waardevol door de data die inzichtelijk is gemaakt. Ook het onderscheid in de typen Googlebots is belangrijk om te analyseren hoe ieder type zich door de website beweegt. Hierbij de korte uitleg per type Googlebot:

Smartphone: Googlebot-smartphone crawlt de website voor mobiele doeleinden.
Desktop: Googlebot-desktop crawlt de website voor desktop doeleinden.
Afbeelding: Googlebot-afbeeldingen crawlt afbeeldingen van een website voor Image Search.
Video: Googlebot-video crawlt video’s voor Video Search.
Paginabron laden: Deze bot voert een secundaire ophaalactie uit om paginabronnen zoals afbeeldingen, CSS of video’s weer te geven voordat deze wordt geïndexeerd.
AdsBot: Deze bot crawlt locaties (URL’s) die worden ingezet voor Google Ads. Met een piek in de statistieken in te herleiden dat een nieuwe campagne is geactiveerd. Deze bot crawlt om de twee weken.
Overig: Er zijn nog andere Googlebots die we hier niet hoeven te noemen. Bovenstaande bots zijn namelijk de belangrijkste om te analyseren.

Wanneer je vreemde pieken of dalen in de crawlstatistieken ziet, is het belangrijk dat je achterhaald welke user-agent voor deze verandering heeft gezorgd. Alleen zo kan je achterhalen hoe een user-agent zich door de website beweegt.

Crawlstatistieken verbeteren

Om de Googlebots te helpen door je website heen te crawlen zijn er verschillende optimalisaties mogelijk. De volgende optimalisaties kunnen worden toegepast om de deur wagenwijd open te zetten voor de bots van Google:

Genereer en upload een XML-sitemap in Google Search Console
Voorkom interne links naar 3xx-redirects of 4xx-fouten
Blokkeer irrelevante bots en spiders in het Robots.txt bestand
Gebruik een snelle en toegankelijke server voor je hosting
Voorkom overmatig gebruik van JavaScript, CSS en frames

Wanneer bovenstaande optimalisaties zijn uitgevoerd kan Googlebot het beschikbare crawlbudget optimaal benutten voor indexatie en rendering van de website inhoud.

Wil je ook data inzichten krijgen van andere bots en spiders, analyseer dan eens de serverlogs van je website. De serverlogs kan je analyseren met de Screaming Frog Log File Analyser of de Log Analyzer functie van SEMrush.