Robots.txt is een tekstbestand dat zoekmachines vertelt welke delen van je website ze wel en niet mogen crawlen. Het staat altijd in de root van je domein: https://jouwesite.nl/robots.txt
Het is één van de eerste dingen die Google checkt wanneer ze je site bezoeken. Een verkeerd geconfigureerde robots.txt kan je hele site blokkeren van indexering. Daarom is het essentieel om te begrijpen hoe het werkt.
In deze gids leer je alles over robots.txt. Je krijgt voorbeelden voor verschillende site types, best practices en een checklist om fouten te voorkomen.
Waarom robots.txt belangrijk is
Robots.txt helpt je om:
Crawl budget te beheren
Google crawlt niet elke pagina van je site elke dag. Door onbelangrijke paginas te blokkeren, besteed je crawl budget aan belangrijke content. Dit is vooral belangrijk voor grote sites met duizenden paginas.
Duplicate content te voorkomen
Staging omgevingen, test paginas en interne zoekresultaten kun je blokkeren zodat ze niet in de index komen. Dit voorkomt verwatering van je rankings.
Server load te verminderen
Agressieve bots kun je beperken om je server niet te overbelasten. Vooral voor kleinere hosting pakketten is dit relevant.
Privacygevoelige content te beschermen
Admin panels en backend URLs kun je blokkeren. Let op: robots.txt is geen beveiliging, het is een vriendelijk verzoek. Kwaadwillende bots kunnen het negeren.
Basisstructuur van robots.txt
Een robots.txt bestand bestaat uit directives. Dit is de basis syntax:
User-agent: * Disallow: /admin/ Allow: /public/ Sitemap: https://jouwesite.nl/sitemap.xml
User-agent: Specificeert welke crawler de regels moet volgen. * betekent alle crawlers.
Disallow: Verbied deze URLs of directories.
Allow: Sta deze URLs toe (overschrijft een Disallow regel).
Sitemap: Locatie van je XML sitemap.
Elke directive staat op een nieuwe regel. Lege regels scheiden verschillende user-agent secties.
Voorbeelden van robots.txt configuraties
Minimale configuratie (safe default)
User-agent: * Disallow: Sitemap: https://jouwesite.nl/sitemap.xml
Dit blokkeert niks en wijst naar je sitemap. Veilig voor nieuwe sites. Gebruik dit als je niet zeker weet wat je moet blokkeren.
WordPress site
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /?s= Disallow: /author/ Sitemap: https://jouwesite.nl/wp-sitemap.xml
Dit blokkeert WordPress admin, plugins, themes en search results. Admin-ajax.php moet toegankelijk blijven voor AJAX functionaliteit op de frontend.
E-commerce site (Shopify/WooCommerce)
User-agent: * Disallow: /cart Disallow: /checkout Disallow: /account Disallow: /orders Disallow: /*?sort= Disallow: /*?filter= Disallow: /search Sitemap: https://jouwesite.nl/sitemap.xml
Blokkeert shopping cart, checkout, account paginas en gefilterde URLs. Dit voorkomt duplicate content door faceted navigation.
Blog of content site
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /*?s= Disallow: /tag/ Disallow: /page/ Sitemap: https://jouwesite.nl/sitemap.xml
Blokkeert admin, search results en pagination. Focus crawl budget op artikelen.
Staging/development environment
User-agent: * Disallow: /
Blokkeert de hele site. Gebruik dit alleen voor test omgevingen. Vergeet dit niet te verwijderen als je live gaat!
Specifieke crawlers targeten
Je kunt regels maken voor specifieke bots:
User-agent: Googlebot Disallow: /private/ User-agent: Bingbot Disallow: /private/ Disallow: /old-content/ User-agent: * Disallow: /admin/
Google krijgt toegang tot alles behalve /private/. Bing wordt extra beperkt. Alle andere bots mogen /admin/ niet.
Veelgebruikte user-agents:
- Googlebot: Google’s web crawler
- Googlebot-Image: Google’s image crawler
- Bingbot: Bing’s web crawler
- Slurp: Yahoo’s crawler
- DuckDuckBot: DuckDuckGo’s crawler
- Baiduspider: Baidu’s crawler
Allow vs Disallow
Allow overschrijft een Disallow regel. Dit is handig voor uitzonderingen:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Dit blokkeert de hele /wp-admin/ directory behalve admin-ajax.php. Allow heeft altijd voorrang.
Nog een voorbeeld:
User-agent: * Disallow: /private/ Allow: /private/public-doc.pdf
Hele /private/ directory is geblokkeerd, behalve één specifiek bestand.
Wildcards gebruiken
Robots.txt ondersteunt twee wildcards:
* (asterisk): Match alles
$ (dollar sign): Einde van URL
Voorbeelden:
Alle URLs met een parameter blokkeren:
Disallow: /*?
Blokkeert: /pagina?sort=asc, /blog?page=2, etc.
Alle PDFs blokkeren:
Disallow: /*.pdf$
Blokkeert: /document.pdf, /files/rapport.pdf
Specifieke extensies blokkeren:
Disallow: /*.php$ Disallow: /*.inc$
Blokkeert PHP en include files van crawling.
Specifieke subdirectories:
Disallow: /*/private/
Blokkeert elke /private/ subdirectory, ongeacht de parent.
Sitemap toevoegen
Je sitemap toevoegen aan robots.txt helpt zoekmachines om je content sneller te ontdekken:
Sitemap: https://jouwesite.nl/sitemap.xml Sitemap: https://jouwesite.nl/sitemap-news.xml Sitemap: https://jouwesite.nl/sitemap-products.xml
Je kunt meerdere sitemaps opgeven. Google crawlt ze allemaal. Dit is vooral handig voor grote sites met verschillende content types.
Let op: gebruik altijd absolute URLs (met https://), geen relatieve paths.
Veelgemaakte fouten die je site kapot maken
1. Hele site blokkeren
User-agent: * Disallow: /
Dit blokkeert je complete site. Google kan niets indexeren. Gebruik dit alleen voor staging. Ik zie deze fout te vaak op productie sites.
2. CSS en JavaScript blokkeren
Disallow: /assets/ Disallow: *.css$ Disallow: *.js$
Google heeft je CSS en JS nodig om je pagina te renderen. Blokkeren leidt tot rendering problemen en lagere rankings. Laat deze altijd toe.
3. Sitemap blokkeren
Disallow: /sitemap.xml
Als je sitemap geblokkeerd is, kan Google hem niet lezen. Verwijder deze regel.
4. Belangrijke paginas per ongeluk blokkeren
Disallow: /blog/
Als je hele blog geblokkeerd is, krijg je geen organic traffic meer. Test altijd voordat je live gaat.
5. Spaties en hoofdletters verkeerd gebruiken
Disallow : /admin/ (spatie voor dubbele punt = fout) Disallow: /Admin/ (hoofdletters tellen)
Robots.txt is case-sensitive en spaties breken de syntax. /admin/ is niet hetzelfde als /Admin/.
6. Geen sitemap opgeven
Zonder sitemap link moet Google je content zelf ontdekken. Dit vertraagt indexering.
7. Conflicterende regels
Disallow: /blog/ Allow: /blog/
Dit creëert onduidelijkheid. Wees specifiek over wat je wilt.
Robots.txt vs Noindex: het verschil
Veel mensen verwarren robots.txt met noindex. Ze zijn fundamenteel verschillend:
| Eigenschap | Robots.txt | Noindex |
|---|---|---|
| Functie | Blokkeert crawling | Blokkeert indexing |
| Google leest de pagina | Nee | Ja |
| Pagina in index | Kan toch voorkomen (zonder snippet) | Nee, wordt verwijderd |
| Link equity | Wordt niet doorgegeven | Wordt wel doorgegeven |
| Locatie | Root van domein | Meta tag in HTML of X-Robots-Tag |
Gebruik robots.txt als:
- Je wilt voorkomen dat Google content crawlt (crawl budget)
- Je wilt server load verminderen
- Je hebt geen toegang tot de pagina zelf (bijv. admin panels)
Gebruik noindex als:
- Je wilt dat een pagina niet in search results verschijnt
- Je wilt link equity doorgeven maar niet indexeren
- De pagina al geïndexeerd is en je wilt hem verwijderen
Belangrijk: Als een pagina geblokkeerd is in robots.txt, kan Google de noindex meta tag niet lezen. Gebruik nooit beide tegelijk op dezelfde URL.
Hoe je robots.txt test
Google Search Console Tester
1. Ga naar Google Search Console
2. Klik op Settings (instellingen)
3. Klik op “robots.txt tester”
4. Test specifieke URLs om te zien of ze geblokkeerd zijn
Deze tool toont precies hoe Google je robots.txt interpreteert. Test altijd belangrijke URLs.
Handmatig testen
Ga naar: https://jouwesite.nl/robots.txt
Check of:
- Het bestand bestaat (geen 404 error)
- De syntax correct is
- Geen spaties of syntax fouten
- Sitemap URL correct is
Online validators
Gebruik tools zoals:
- Technical SEO Robots.txt Validator
- Merkle’s Robots.txt Testing Tool
- Ryte Robots.txt Validator
Deze tools checken syntax errors en geven suggesties.
Waar robots.txt staat en hoe je het aanpast
Robots.txt moet in de root directory van je domein staan:
https://jouwesite.nl/robots.txt
Niet: https://jouwesite.nl/seo/robots.txt
Via FTP/SFTP
1. Connect naar je server
2. Ga naar de root directory (meestal /public_html/ of /www/)
3. Maak of bewerk robots.txt
4. Upload het bestand
Let op: zorg dat het bestand read permissions heeft (644).
Via WordPress
WordPress genereert automatisch een virtuele robots.txt als er geen fysiek bestand bestaat. Je kunt het overschrijven door een echt bestand te uploaden via FTP, of plugins gebruiken:
- Yoast SEO: Tools → File Editor
- Rank Math: Settings → Robots.txt
- All in One SEO: Tools → Robots.txt
De plugin methode is veiliger omdat je syntax errors voorkomt.
Via cPanel
1. Log in op cPanel
2. Ga naar File Manager
3. Open public_html directory
4. Maak of bewerk robots.txt
Geavanceerde use cases
Block bad bots (scrapers, spam bots)
User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: /
Dit blokkeert specifieke bots die je niet wilt crawlen. Let op: goede bots (Googlebot, Bingbot) moeten toegang behouden.
Maar wees voorzichtig: deze bots negeren vaak robots.txt. Voor echte blocking gebruik .htaccess of firewall rules.
Crawl delay instellen
User-agent: * Crawl-delay: 10
Dit vraagt bots om 10 seconden te wachten tussen requests. Google respecteert Crawl-delay niet, maar veel andere bots wel. Nuttig om server load te beperken.
Duplicate content voorkomen (faceted navigation)
Disallow: /*?color= Disallow: /*?size= Disallow: /*?price= Disallow: /*?sort= Disallow: /*&
E-commerce sites genereren vaak duizenden URLs door filters. Dit blokkeert ze van crawling.
Meerdere domeinen met één robots.txt
Elke subdomain heeft zijn eigen robots.txt nodig:
- https://www.site.nl/robots.txt
- https://blog.site.nl/robots.txt
- https://shop.site.nl/robots.txt
Je kunt niet één robots.txt voor alle subdomeinen gebruiken.
Veelgestelde vragen
Wat gebeurt er als ik per ongeluk mijn hele site blokkeer?
Google stopt met crawlen en indexeren. Bestaande rankings blijven tijdelijk, maar nieuwe content wordt niet opgepikt. Fix het zo snel mogelijk en dien opnieuw in bij Search Console.
Hoe lang duurt het voordat Google een nieuwe robots.txt leest?
Meestal binnen 24 uur. Je kunt het versnellen door de URL in Google Search Console opnieuw in te dienen via de robots.txt tester.
Kan ik robots.txt gebruiken om content uit de index te verwijderen?
Nee! Als content al geïndexeerd is, blokkeert robots.txt Google van de pagina te crawlen. Dan kan Google de noindex tag niet lezen. Gebruik noindex meta tags of X-Robots-Tag header om content uit de index te verwijderen.
Moet ik mijn sitemap in robots.txt vermelden?
Het is niet verplicht, maar wel aanbevolen. Het helpt zoekmachines je content sneller te ontdekken. Je kunt je sitemap ook in Google Search Console toevoegen.
Respecteren alle bots robots.txt?
Nee. Goede bots (Google, Bing) respecteren het wel. Kwaadwillende scrapers en spam bots negeren het vaak. Gebruik .htaccess of firewall rules voor echte blocking.
Kan ik robots.txt gebruiken voor beveiliging?
Nee! Robots.txt is publiek zichtbaar en bots kunnen het negeren. Voor echte beveiliging gebruik je password protection, .htaccess rules of server-level blocking.
Checklist voor een goede robots.txt
- ✅ Bestand bestaat op https://jouwesite.nl/robots.txt
- ✅ Geen syntax fouten (geen spaties voor dubbele punten)
- ✅ Sitemap URL is toegevoegd
- ✅ Belangrijke content is niet geblokkeerd
- ✅ CSS en JavaScript zijn niet geblokkeerd
- ✅ Admin/backend URLs zijn geblokkeerd
- ✅ Staging/development sites zijn volledig geblokkeerd
- ✅ Geen Disallow: / (tenzij je echt alles wilt blokkeren)
- ✅ Getest in Google Search Console
- ✅ Specifieke URLs getest met de tester tool
- ✅ Duplicate content URLs geblokkeerd (filters, parameters)
- ✅ Geen conflicterende Allow/Disallow regels
Wat gebeurt er als je geen robots.txt hebt?
Als er geen robots.txt bestand bestaat, crawlen zoekmachines je hele site zonder beperkingen. Dit is prima voor kleine sites zonder gevoelige content.
Maar voor grotere sites of sites met admin panels is het aan te raden om een robots.txt te maken om:
- Crawl budget te optimaliseren
- Backend URLs te beschermen
- Je sitemap aan te geven
- Duplicate content te voorkomen
Robots.txt en security
Belangrijk: robots.txt is GEEN beveiliging.
Het is een publiek leesbaar bestand. Iedereen kan https://jouwesite.nl/robots.txt bezoeken en zien welke directories je blokkeert.
Kwaadwillende bots kunnen Disallow regels negeren. Voor echte beveiliging:
- Gebruik .htaccess of server configuratie om toegang te blokkeren
- Voeg password protection toe op gevoelige directories
- Gebruik firewall rules
- Implementeer rate limiting
Robots.txt is een vriendelijk verzoek, geen forcering. Behandel het als SEO tool, niet als security layer.
Monitoring en maintenance
Regelmatig checken
Check je robots.txt minimaal elke 3 maanden:
- Zijn er nieuwe URLs die geblokkeerd moeten worden?
- Zijn er blocked URLs die nu wel geïndexeerd moeten?
- Klopt de sitemap URL nog?
- Zijn er nieuwe crawlers die je wilt blokkeren?
Zet een herinnering in je kalender. Een vergeten robots.txt is een risico.
Monitor in Search Console
Check regelmatig de Coverage rapport in Google Search Console:
- Excluded by robots.txt: zijn dit de juiste URLs?
- Blocked by robots.txt errors: onverwachte blockades?
Als je belangrijke URLs in de “excluded” lijst ziet, fix het meteen.
Server logs analyseren
Check je server logs om te zien welke bots je site crawlen. Als je veel bad bot traffic ziet, voeg ze toe aan je robots.txt (of blokkeer ze via .htaccess).
Tools: Screaming Frog Log File Analyzer, GoAccess, of je hosting control panel logs.
Documenteer wijzigingen
Houd een changelog bij van robots.txt wijzigingen:
# Robots.txt changelog # 2026-02-10: Blocked /old-blog/ directory # 2026-01-15: Added new sitemap URL # 2025-12-01: Blocked SemrushBot
Dit helpt bij troubleshooting als er problemen ontstaan.
Best practices samengevat
1. Start conservatief
Begin met een minimale robots.txt en voeg alleen toe wat echt geblokkeerd moet. Te veel blokkeren is gevaarlijker dan te weinig.
2. Test altijd voor je live gaat
Gebruik Google Search Console tester om te valideren. Test specifiek je belangrijkste URLs.
3. Houd het simpel
Een complexe robots.txt met 50 regels is moeilijk te onderhouden. Focus op de essentials.
4. Documenteer je keuzes
Voeg comments toe (met #) om uit te leggen waarom iets geblokkeerd is. Dit helpt toekomstige jij en je team.
5. Combineer met andere SEO tools
Robots.txt is één tool. Gebruik het samen met noindex tags, canonical tags en XML sitemaps voor complete controle.
6. Backup je robots.txt
Voor je grote wijzigingen maakt, sla een kopie op. Zo kun je snel rollback bij problemen.
7. Communiceer wijzigingen
Als je in een team werkt, inform anderen over robots.txt wijzigingen. Een collega kan per ongeluk je configuratie overschrijven.
Hulp nodig met robots.txt?
Een verkeerde robots.txt configuratie kan je hele site blokkeren van Google. Het is simpel maar gevaarlijk.
Ik help met:
- Correcte robots.txt configuratie voor je site type
- Audits van bestaande robots.txt files
- Troubleshooting van crawling problemen
- Crawl budget optimalisatie
Neem contact op voor een gratis robots.txt check.
Erwin Verbeek is SEO- en GEO-specialist en oprichter van Online Ambition. Meer over Erwin
