Wat is Googlebot en hoe werkt het?

Googlebot is een webcrawler die wordt gebruikt door Google om webpagina’s te ontdekken en te indexeren voor de zoekresultaten van de zoekmachine. Het is een geautomatiseerd programma dat het web doorzoekt en de inhoud van websites verzamelt om deze informatie vervolgens op te nemen in de Google-zoekindex. Een onderdeel van SEO is het begrijpen van het gedrag en de functie van Googlebot.

Dit is hoe Googlebot over het algemeen werkt:

1. Ontdekking van nieuwe pagina’s: Googlebot begint door een lijst met bekende webpagina’s te bezoeken. Hier ontdekt Googlebot nieuwe pagina’s door het volgen van links van deze reeds bekende pagina’s. Wanneer Googlebot een nieuwe pagina ontdekt, voegt het deze toe aan de lijst om te worden bezocht en geïndexeerd.
2. Crawlen van pagina’s: Nadat Googlebot een webpagina heeft ontdekt, begint het met het crawlen ervan. Crawlen betekent simpelweg het bezoeken van de pagina en het lezen van de inhoud, inclusief tekst, afbeeldingen, JavaScript, CSS en koppelingen naar andere pagina’s.
3. Indexering: De verzamelde informatie wordt opgenomen in de Google index, een gigantische database die wordt gebruikt om relevante resultaten te tonen wanneer mensen zoekopdrachten uitvoeren. Tijdens het indexeren wordt de inhoud van de pagina geanalyseerd en opgeslagen in de index, zodat het snel kan worden opgehaald wanneer iemand zoekt.
4. Herhaald proces: Googlebot blijft regelmatig terugkomen om pagina’s opnieuw te crawlen en bij te werken. Dit zorgt ervoor dat de zoekresultaten actueel blijven, aangezien websites regelmatig nieuwe inhoud toevoegen of bestaande inhoud wijzigen.

Het doel van Googlebot is om de meest relevante en up-to-date informatie te bieden aan gebruikers die zoekopdrachten uitvoeren op Google. Websites optimaliseren hun inhoud vaak volgens de richtlijnen van Google om ervoor te zorgen dat deze effectief wordt gecrawld en geïndexeerd, waardoor de kans op een hogere positie in de zoekresultaten toeneemt.

Verschillende soorten bots

Er zijn verschillende varianten van Googlebot, die zijn ontworpen om verschillende soorten inhoud te crawlen en te indexeren. Enkele van de meest voorkomende varianten zijn:

1. Googlebot: Dit is de standaardversie van Googlebot die wordt gebruikt voor het crawlen en indexeren van algemene webpagina’s en inhoud.
2. Googlebot Mobile: Deze variant is geoptimaliseerd voor het crawlen van mobiele websites. Aangezien steeds meer mensen internet hun mobiele telefoon gebruiken, is Googlebot Mobile belangrijk om ervoor te zorgen dat mobiele inhoud correct wordt geïndexeerd.
3. Googlebot Images: Deze variant is gespecialiseerd in het crawlen en indexeren van afbeeldingen. Het helpt bij het identificeren en weergeven van afbeeldingen in de Google zoekresultaten.
4. Googlebot News: Ontworpen om nieuwswebsites te crawlen en nieuwsartikelen op te nemen in de Google zoekresultaten. Het legt de nadruk op het snel ontdekken en indexeren van nieuwsinhoud.
5. Googlebot Video: Gericht op het indexeren van video-inhoud, waaronder video’s op YouTube en andere videoplatforms. Het helpt bij het weergeven van video’s in de zoekresultaten.
6. Googlebot AdsBot: Deze variant richt zich op het crawlen van inhoud gerelateerd aan Google Ads (voorheen Google AdWords). Het helpt bij het beoordelen van de relevantie van advertenties en zoekresultaten.

Het gebruik van deze verschillende varianten van de Googlebot stelt Google in staat om een breed scala aan inhoudstypen effectief te crawlen en indexeren, waardoor gebruikers een gevarieerd en relevant zoekresultaat krijgen, aangepast aan hun behoeften.

Googlebot analyseren

Nu we weten welke Googlebots er zijn en waar Googlebot voor dient wordt het pas écht interessant. Het is namelijk mogelijk het gedrag van Googlebot op je site te analyseren. Dit kan op twee manieren.

Google Search Console

De eerste manier om het gedrag van Googlebot te analyseren is via Google Search Console. Hierin kan je het aantal crawlverzoeken zien en wat de status is van de website. Ook is de gemiddelde reactietijd en het de totale downloadgrootte zichtbaar.

Naast deze informatie is in Google Search Console ook terug te vinden welke reactie Googlebot kreeg, welke bestandstypes er gecrawld werden, met welk doel de crawler kwam en welk type Googlebot er langs is geweest.

Zeer fijne informatie om grote problemen met de website snel inzichtelijk te krijgen. Het zegt echter nog maar weinig over het daadwerkelijke gedrag van Google bij het crawlen van je website.

Logfile analysers

Een andere manier om in kaart te brengen hoe Googlebot (en andere bots) jouw website bezoeken is met een logfile analyser. WIj gebruiken hier zelf de Log File Analyser van Screaming Frog voor. Er is enig technisch vernuft voor nodig om bruikbare logfiles te krijgen vanuit de server, maar als deze eenmaal beschikbaar zijn is precies te zien welke pagina’s Googlebot bezocht heeft, hoe lang het op deze pagina bezig is geweest, welke responses het heeft gekregen en waar en wanneer het de website weer heeft verlaten.

Met deze inzichten kunnen we bottlenecks vinden die anders onzichtbaar waren. Kan Googlebot wel de hele website op de juiste manier vinden? Of loopt het ergens vast en gaat het weer weg? Dit soort inzichten zijn op geen andere manier te krijgen en zijn (mede daardoor) erg waardevol.