Crawlbudget bepaalt hoeveel pagina’s Google op jouw website bekijkt binnen een bepaalde periode. Heb je een grote site? Dan kan dit een beperkende factor zijn voor je vindbaarheid.
Wat is crawlbudget precies?
Google kan niet het hele internet in één keer crawlen. De zoekmachine wijst daarom aan elke website een bepaald “budget” toe: het aantal URL’s dat Googlebot kan én wil crawlen. Google noemt dit zelf “the set of URLs that Googlebot can and wants to crawl” (Google Search Central, 2017).
Twee factoren bepalen de grootte van dat budget:
Crawlcapaciteit is de snelheid waarmee Googlebot jouw server kan bevragen zonder die te overbelasten. Reageert je server snel? Dan schroeft Google het aantal gelijktijdige verbindingen op. Wordt je site traag of geeft je server fouten? Dan draait Google de crawlfrequentie terug.
Crawlvraag bepaalt hoe graag Google jouw pagina’s wil bezoeken. Populaire pagina’s worden vaker gecrawld. Pagina’s die regelmatig veranderen krijgen ook voorrang, omdat Google verouderde informatie wil voorkomen. Backlinks spelen hier ook een rol: hoe meer kwalitatieve links naar jouw site verwijzen, hoe relevanter Google je beschouwt.
Combineer die twee en je hebt je crawlbudget.
Wanneer maakt crawlbudget uit?
Niet elke website hoeft zich hier druk om te maken. Google zegt daar zelf over: “If new pages tend to be crawled the same day they’re published, crawl budget is not something webmasters need to focus on” (Google Search Central Blog, januari 2017).
Hier is een vuistregel:
Kleine sites (minder dan 10.000 pagina’s) hebben zelden last van crawlbudget-beperkingen. Google kan deze sites moeiteloos volledig indexeren.
Grote sites (meer dan 50.000 pagina’s) lopen wél risico. Denk aan webshops met duizenden productpagina’s, websites met gefacetteerde navigatie, of platforms met veel door gebruikers gegenereerde content. Bij dit soort sites kan een slecht beheerd crawlbudget ervoor zorgen dat Google je nieuwste of beste pagina’s simpelweg mist.
Sites met veel dynamische URL’s verdienen ook extra aandacht. Filters, sorteeropties en sessie-ID’s kunnen duizenden URL’s genereren die allemaal (bijna) dezelfde content bevatten. Google verspilt dan crawls aan pagina’s die geen waarde toevoegen.
Hoe verbeter je je crawlbudget?
Je kunt het crawlbudget niet rechtstreeks verhogen. Wat je wél kunt doen: verspilling tegengaan, zodat Google zijn tijd besteedt aan jouw beste pagina’s. Laten we de aanpak stap voor stap doorlopen.
Maak je server sneller
De laadsnelheid van je website heeft directe invloed op hoeveel Google kan crawlen. Google’s eigen documentatie bevestigt dit: “Making a site faster improves the users’ experience while also increasing crawl rate. For Googlebot, a speedy site is a sign of healthy servers” (Google Search Central, 2017).
Wat kun je doen? Comprimeer afbeeldingen, zet browsercaching in, en kies een betrouwbare hostingpartij. Elke milliseconde die je server sneller reageert, geeft Googlebot ruimte om meer pagina’s te bezoeken.
Blokkeer onbelangrijke pagina’s via robots.txt
Niet alle pagina’s op je website hoeven gecrawld te worden. Denk aan inlogpagina’s, interne zoekresultaten, filterpagina’s en bedankpagina’s. Door deze uit te sluiten in je robots.txt-bestand, stuur je Googlebot naar de pagina’s die er wél toe doen.
Let op: gebruik géén noindex als alternatief voor robots.txt-blokkering. Google moet de pagina dan nog steeds bezoeken om de noindex-tag te zien, en dat kost crawlbudget. Google waarschuwt hier zelf voor: “Don’t use noindex to manage crawl budget, as Google will still request the page, wasting crawling time” (Google Developers, Crawl Budget Management).
Pak duplicate content aan
Dubbele content is een grote budgetverspiller. Google crawlt dan meerdere URL’s die dezelfde informatie bevatten. Gebruik canonical tags om aan te geven welke versie van een pagina de voorkeur heeft. Dit voorkomt dat Googlebot tijd besteedt aan kopieën.
Veelvoorkomende oorzaken van duplicaten zijn URL-parameters (zoals sorteer- en filteropties), www- versus niet-www-versies, en HTTP versus HTTPS-varianten.
Ruim overbodige pagina’s op
Pagina’s die geen verkeer trekken en geen inhoudelijke waarde bieden, nemen ruimte in je crawlbudget in beslag. Verwijder ze, of stuur ze door met een 301-redirect naar een relevante pagina.
Gebruik een 404- of 410-statuscode voor pagina’s die je permanent wilt verwijderen. Google zegt hierover: “A 404 status code is a strong signal not to crawl that URL again” (Google Developers, Crawl Budget Management).
Houd je XML-sitemap schoon
Je sitemap is als een routekaart voor Google. Zorg dat er alleen indexeerbare, canonieke URL’s in staan. Verwijder doorverwijzingen, pagina’s met een noindex-tag en URL’s die een foutmelding geven. Een opgeschoonde sitemap helpt Google om snel de juiste pagina’s te vinden.
Verbeter je interne linkstructuur
Google volgt links om nieuwe pagina’s te ontdekken. Zorg dat je belangrijkste pagina’s maximaal drie klikken van je homepage verwijderd zijn. Pagina’s die diep begraven zitten in je sitestructuur, worden minder vaak (of helemaal niet) gecrawld.
Hoe herken je crawlbudget-problemen?
Niet zeker of je site last heeft van crawlbudget-beperkingen? Let op deze signalen:
Trage indexering van nieuwe pagina’s. Publiceer je regelmatig content die pas na weken in Google verschijnt? Dan kan een beperkt crawlbudget de oorzaak zijn. Google geeft aan dat de meeste sites binnen drie dagen geïndexeerd worden. Duurt het langer, dan is er mogelijk een probleem.
“Discovered, currently not indexed” in Search Console. Dit betekent dat Google je pagina’s kent, maar ze nog niet heeft bezocht. Bij grote aantallen is dit een sterk signaal dat je crawlbudget niet toereikend is.
Weinig Googlebot-activiteit in je server logs. Door je logbestanden te analyseren zie je precies welke pagina’s Googlebot bezoekt en hoe vaak. Opvallend weinig bezoeken? Dan laat Google pagina’s liggen.
Zo monitor je je crawlbudget
Google Search Console
Ga naar Instellingen > Crawlen > Statistieken voor crawlen. Hier zie je het aantal crawlverzoeken per dag over de afgelopen 90 dagen, de totale downloadgrootte van gecrawlde pagina’s en de gemiddelde reactietijd van je server.
Een dalende trend in crawlverzoeken of een stijgende reactietijd verdient aandacht. Google past zijn crawlfrequentie aan op basis van je serverprestaties.
Server log-analyse
Search Console geeft je een overzicht, maar server logs vertellen het hele verhaal. Hiermee zie je precies welke URL’s Googlebot bezoekt (en welke worden overgeslagen), hoe vaak specifieke pagina’s worden gecrawld, en welke statuscodes Googlebot terugkrijgt.
Tools als Screaming Frog of Semrush kunnen helpen bij het analyseren van logbestanden op grote schaal.
De grootste mythe over crawlbudget
Er leeft een hardnekkig misverstand: dat je het crawlbudget actief kunt opschroeven. Dat klopt niet helemaal. Google bepaalt zelf hoeveel middelen het aan jouw site besteedt.
Wat je wél in de hand hebt, is hoe dat budget wordt besteed. Door overbodige pagina’s uit te sluiten, je server snel te houden en je sitestructuur logisch in te richten, zorg je dat Google zijn tijd besteedt aan de pagina’s die ertoe doen.
Google bevestigt dit: “The only ways to increase your crawl budget are to increase your serving capacity for crawls, and (more importantly) to increase the value of the content on your site to searchers” (Google Search Central Documentation).
Erwin Verbeek is SEO- en GEO-specialist en oprichter van Online Ambition. Meer over Erwin
