Het is natuurlijk super vervelend als je een mooie website hebt gemaakt en je bent klaar om je bezoekers te ontvangen, maar je pagina’s verschijnen niet in de Google Index. Er kunnen verschillende redenen zijn waarom je pagina’s mogelijk niet worden geïndexeerd door Google. In dit artikel hebben we de meest voorkomende oorzaken en de bijbehorende oplossingen voor je uitgewerkt zodat je hopelijk het probleem snel kan achterhalen.

Fouten in het Robots.txt bestand

Controleer of je robots.txt bestand geen blokkeringen bevat voor de betreffende pagina’s. Zorg ervoor dat Googlebot toegang heeft tot de inhoud. Als je robots.txt bestand inhoud blokkeert die je geïndexeerd wil hebben, kun je dit oplossen door de blokkeringen aan te passen. Hier zijn de stappen die je kunt volgen:

Ga naar je robots.txt bestand: Bezoek je robots.txt bestand in je browser door /robots.txt achter je domeinnaam te zetten.
Identificeer de blokkeringen: Bekijk je robots.txt-bestand en identificeer de regels die bepaalde delen van je website blokkeren voor crawlers. Dit kunnen specifieke pagina’s, mappen of bestandstypen zijn. Een regel met een blokkering bevat altijd: “Disallow:”. Staat er Disallow: / in je robots.txt dan wordt je hele site uitgesloten van indexering. Als er bijvoorbeeld Disallow: /product/ staat dan worden alle URL’s met daarin /product/ uitgesloten. Belangrijk is om hier de laatste slash niet te vergeten. Anders worden bijvoorbeeld ook /productkenmerken of /producten-retourneren uitgesloten omdat deze ook /product bevatten.
Herzie de regels: Pas de robots.txt-regels aan om de blokkeringen te verwijderen of aan te passen.
Controleer de wijzigingen: Nadat je wijzigingen hebt aangebracht, is het belangrijk om te controleren of de gewenste inhoud nu toegankelijk is voor crawlers. Dit kun je doen door de “URL inspectie” -tool te gebruiken in Google Search Console of de site te crawlen met een tool als Screaming Frog.
Update sitemap en dien opnieuw in: Als je significante wijzigingen hebt aangebracht, is het raadzaam om je sitemap bij te werken en deze opnieuw in te dienen bij Google Search Console. Dit helpt Google bij het ontdekken van de gewijzigde pagina’s.
Monitor de resultaten: Houd Google Search Console in de gaten voor eventuele fouten met betrekking tot het crawlen en indexeren van je site. Het kan enige tijd duren voordat Google de wijzigingen oppikt.

Zorg ervoor dat je de wijzigingen met zorg doorvoert om onbedoelde gevolgen te voorkomen. Het is ook een goed idee om regelmatig je robots.txt-bestand te controleren, vooral wanneer je wijzigingen aanbrengt aan je website.

Meta-robots tag

Met de meta-robots tag kunnen bepaalde pagina’s utigesloten worden van indexering. Controleer of de meta-robots tag op je pagina’s niet is ingesteld op “noindex.” Dit zou voorkomen dat zoekmachines je pagina’s indexeren. Verwijder deze tag indien aanwezig. Om de meta-robots tag op een pagina te controleren, kun je de HTML-broncode van de betreffende pagina bekijken. Hier zijn de stappen die je kunt volgen:

Open de webpagina in je browser: Ga naar de webpagina waarvan je de meta-robots tag wilt controleren.
Selecteer “Paginabron weergeven”: Klik met de rechtermuisknop ergens op de pagina (binnen het contentgedeelte) en kies de optie “Paginabron weergeven” of iets soortgelijks. Dit opent een nieuw tabblad of venster met de HTML-broncode van de pagina.
Zoek naar de meta-robots tag: In het geopende tabblad met de HTML-broncode, zoek naar de meta-robots tag. Deze tag is meestal te vinden binnen de <head>-sectie van de HTML-code. Hier is een voorbeeld van hoe de tag eruit zou kunnen zien
<meta name="robots" content="index, follow">
De content-attribuutwaarde geeft aan hoe zoekmachines de pagina moeten behandelen. In dit voorbeeld staat “index” voor indexering toestaan en “follow” voor het volgen van links.
Interpreteer de meta-robots tag:
- Als de content-waarde “noindex” bevat, betekent dit dat de pagina niet moet worden geïndexeerd.
- Als de content-waarde “nofollow” bevat, betekent dit dat links op de pagina niet moeten worden gevolgd.

Als je de meta-robots tag hebt gevonden en wilt dat de pagina wordt geïndexeerd, zorg er dan voor dat de content-waarde geschikt is (bijvoorbeeld “index, follow”). Als je wijzigingen aanbrengt, vergeet dan niet de bijgewerkte pagina opnieuw te laten crawlen door zoekmachines, bijvoorbeeld via Google Search Console.

Canonicals

Als je gebruik maakt van canonicals, zorg er dan voor dat ze correct zijn ingesteld. Ze moeten wijzen naar de juiste versie van de pagina. of naar de pagina zelf. Om te controleren of de canonical-tags op je pagina’s correct zijn ingesteld, kun je de HTML-broncode van de pagina bekijken. Hier zijn de stappen die je kunt volgen:

Open de webpagina in je browser: Ga naar de webpagina waarvan je de canonical-tag wilt controleren.
Selecteer “Paginabron weergeven”: Klik met de rechtermuisknop ergens op de pagina (binnen het contentgedeelte) en kies de optie “Paginabron weergeven” of iets soortgelijks. Dit opent een nieuw tabblad of venster met de HTML broncode van de pagina.
Zoek naar de canonical-tag: In het geopende tabblad met de HTML broncode, zoek naar de canonical-tag. Deze tag is meestal te vinden binnen de <head>-sectie van de HTML-code. Hier is een voorbeeld van hoe de tag eruit zou kunnen zien:
<link rel="canonical" href="https://www.jouwdomein.com/jouw-pagina/" />
De href-attribuutwaarde geeft aan wat de canonieke URL van de pagina is.
Controleer de canonical-tag:
- Zorg ervoor dat de href-waarde overeenkomt met de gewenste canonieke URL van de pagina.
- Als er geen canonical-tag aanwezig is, kan dit betekenen dat er geen specifieke canonieke URL is ingesteld.
- Zorg ervoor dat de canonical tag niet verwijst naar een pagina die een andere statuscode van 200 teruggeeft. Als de canonical verwijst naar een pagina met een redirect of een 404-pagina dan kan Google hier in een loop terecht komen of stoppen met crawlen.
Verifieer consistentie: Als je canonical-tags gebruikt op meerdere pagina’s, controleer dan of ze consistent zijn ingesteld. Elke pagina moet verwijzen naar zijn eigen canonieke URL om verwarring te voorkomen.

Heb je een grote website? Dan kan je tools als Screaming Frog gebruiken om alle canonicals van de hele website in één keer te controleren. Met de gratis versie is het mogelijk om maximaal 500 URL’s te crawlen.

Als je ontdekt dat de canonical-tags onjuist zijn ingesteld, pas ze dan aan om ervoor te zorgen dat ze verwijzen naar de juiste canonieke URL. Vergeet niet om eventuele wijzigingen te monitoren en de bijgewerkte pagina’s opnieuw te laten crawlen door zoekmachines, bijvoorbeeld via Google Search Console. Vaak is het lastig om de canonicals zelf aan te passen, neem dan contact op met je webbouwer over dit probleem.

XML Sitemap

Controleer of je sitemap up-to-date is en alle belangrijke pagina’s bevat. Indien nodig, dien een bijgewerkte sitemap in via Google Search Console. Om te controleren of je XML-sitemap alle belangrijke pagina’s van je website bevat, kun je de volgende stappen volgen:

Open de XML-sitemap: Ga naar de locatie waar je XML-sitemap is opgeslagen. Dit is vaak “jouwdomein.com/sitemap.xml” of een vergelijkbare URL. Open de sitemap in je browser.
Controleer de lijst met URL’s: Bekijk de lijst met URL’s in de XML-sitemap. Elk <url>-element vertegenwoordigt een pagina op je website. Controleer of alle belangrijke pagina’s zijn opgenomen.
Vergelijk met je website-architectuur: Vergelijk de URL’s in de XML-sitemap met de belangrijke pagina’s op je website. Zorg ervoor dat de sitemap de belangrijkste pagina’s, zoals startpagina, categoriepagina’s, productpagina’s, enz., bevat.
Gebruik Google Search Console: Meld je aan bij Google Search Console en ga naar de sectie “Sitemaps”. Hier kun je de geüploade sitemap zien en controleren of Google alle URL’s heeft kunnen ontdekken en indexeren. Eventuele fouten worden hier ook weergegeven.
Controleer de dekking in Google Search Console: In Google Search Console kun je de dekking bekijken om te zien welke pagina’s zijn geïndexeerd. Vergelijk deze lijst met de pagina’s in je XML-sitemap om ervoor te zorgen dat er geen belangrijke pagina’s ontbreken.
Gebruik tools van derden: Er zijn online tools beschikbaar waarmee je de volledigheid van je XML-sitemap kunt controleren. Deze tools analyseren de sitemap en geven een overzicht van ontbrekende of foutieve URL’s.

Als je ontdekt dat belangrijke pagina’s ontbreken in je XML-sitemap, werk de sitemap dan bij en dien deze opnieuw in bij Google Search Console. Zorg ervoor dat je de sitemap regelmatig bijwerkt, vooral als je nieuwe pagina’s aan je website toevoegt. Gebruik je tools als Yoast of Rankmath om je XML sitemap automatisch te genereren? Controleer dan de instellingen van deze tools.

Crawl-fouten

Bekijk Google Search Console voor eventuele crawl-fouten die van invloed kunnen zijn op de indexering. Los deze fouten op om een soepele indexering te bevorderen. Crawl-fouten kunnen optreden wanneer zoekmachines zoals Google problemen ondervinden bij het crawlen van je website. Hier zijn enkele veelvoorkomende crawl-fouten en suggesties over hoe je ze kunt oplossen:

404 Fout (Niet gevonden):
- Oorzaak: De opgevraagde pagina kan niet worden gevonden.
- Oplossing: Controleer of de URL correct is gespeld, en update eventuele links naar de juiste URL. Als de pagina niet meer bestaat, overweeg dan het instellen van een 301-omleiding naar een relevante pagina.
Soft 404 Fout:
- Oorzaak: De pagina lijkt een 404-status te hebben, maar geeft mogelijk geen duidelijke foutmelding weer.
- Oplossing: Zorg ervoor dat pagina’s die als “soft 404” worden gemarkeerd, een juiste 404-statuscode retourneren. Verbeter ook de inhoud van de pagina om duidelijker te communiceren dat de pagina niet beschikbaar is.
500 Interne Serverfout:
- Oorzaak: Er is een probleem aan serverzijde.
- Oplossing: Onderzoek de serverlogboeken om de specifieke oorzaak van de fout te vinden en los het serverprobleem op. Zorg ervoor dat de server correct is geconfigureerd.
Redirectfouten (3xx-fouten):
- Oorzaak: Problemen met URL-omleidingen, bijvoorbeeld als een omleiding in een lus zit.
- Oplossing: Controleer de omleidingen en zorg ervoor dat ze correct zijn geconfigureerd. Vermijd omleidingslussen en zorg voor een consistente omleidingsstructuur.
Timeout-fouten:
- Oorzaak: De server reageert niet binnen een redelijke tijd.
- Oplossing: Verbeter de serverrespons door serverbronnen te optimaliseren, de servercapaciteit te vergroten of onnodige processen te verminderen.
Robots.txt-fouten:
- Oorzaak: Problemen met het robots.txt-bestand, zoals onjuiste syntax.
- Oplossing: Controleer en corrigeer het robots.txt-bestand. Zorg ervoor dat het correct is geconfigureerd om crawlers toegang te geven tot relevante inhoud.
DNS-fouten:
- Oorzaak: Problemen met het DNS (Domain Name System), zoals het niet kunnen vertalen van de domeinnaam naar een IP-adres.
- Oplossing: Controleer de DNS-instellingen en los eventuele problemen op met de domeinnaamregistratie.
Server Timeouts:
- Oorzaak: De server neemt te veel tijd in beslag om te reageren op een crawlbewerking.
- Oplossing: Optimaliseer de serverprestaties door onnodige processen te verminderen en de serverinfrastructuur te verbeteren.

Monitor regelmatig Google Search Console voor crawl-fouten en onderneem actie zodra je ze identificeert. Dit helpt om de gezondheid van je website te behouden en de indexering te optimaliseren.

Duplicate content

Zorg ervoor dat je niet dezelfde inhoud hebt op meerdere pagina’s. Google geeft de voorkeur aan unieke en waardevolle inhoud. Zijn er meerdere pagina’s met dezelfde inhoud, dan kiest Google er meestal voor om slechts één van deze pagina’s te laten zien. Denk je dat je duplicate content hebt? Lees dan hier hoe je omgaat met duplicate content.

Wachttijd

Het kan even duren voordat Google nieuwe pagina’s indexeert. Geduld is soms vereist, vooral voor nieuwe websites. Tocht heeft Google soms moeite met indexering, dit komt vaak door grote partijen die bijvoorbeeld met AI heel veel content aanbieden, waardoor het algoritme van Google overuren draait en alle indexering vertraging oploopt. Gelukkig is het mogelijk om met een workaround jouw pagina’s richting Google te pushen zodat ze alsnog binnen afzienbare tijd geïndexeerd worden. Heb je alle andere dingen in dit artikel gecontroleerd en ligt het echt aan de backlog van Google? Neem dan gerust contact met ons op en wij helpen je om je pagina’s geïndexeerd te krijgen.

Geen backlinks

Om je website te laten indexeren is het van belang dat Google jouw website regelmatig bezoekt. Als je nog geen backlinks hebt dan zal Google niet vaak langskomen op jouw website. Dit hoeft geen probleem te zijn, maar kan het proces van het vinden en indexeren van jouw content wel vertragen. Zeker als je de website net opgebouwd hebt is er waarschijnlijk nog geen linkprofiel opgebouwd. Meer hierover lees je op onze pagina over linkbuilding.

Kwaliteit van de content

Zorg ervoor dat je inhoud van hoge kwaliteit biedt. Google indexeert en rangschikt pagina’s op basis van relevantie en nut voor gebruikers. Als je pagina’s niet de juiste kwaliteit content bevatten, of in sommige gevallen helemaal geen content bevatten, dan is het lastig voor Google om jouw pagina’s te indexeren en op de juiste manier op waarde te schatten. Zorg er dus voor dat je content maakt die écht iets toevoegt voor je gebruiker.

Als je deze stappen hebt gecontroleerd en nog steeds problemen ondervindt met indexering dan kijken we graag met je mee waar het probleem kan liggen. We laten hier dan verschillende tools op los en proberen met onze jarenlange ervaring te achterhalen waar het probleem zit.

HELP! Mijn site wordt nog steeds niet geïndexeerd!

Waarom worden mijn pagina’s niet geïndexeerd?