X-robots-tag: geavanceerde indexering controle

X-Robots-Tag is een HTTP header waarmee je zoekmachines instrueert hoe ze met je content moeten omgaan. Het werkt hetzelfde als meta robots tags, maar dan via server headers in plaats van HTML.

Het grote voordeel: je kunt niet-HTML bestanden controleren zoals PDFs, afbeeldingen, videos en downloads. Alles waar je geen HTML meta tag in kunt plaatsen.

Dit artikel legt uit wat X-Robots-Tag is en wanneer je het nodig hebt. Je leert hoe je het implementeert op Apache en Nginx servers. En je krijgt praktische voorbeelden voor veelvoorkomende use cases.

Wanneer je X-Robots-Tag nodig hebt

Meta robots tags zijn prima voor normale webpaginas. Maar X-Robots-Tag is de oplossing voor deze situaties:

PDFs die niet geïndexeerd mogen worden. Je hebt interne documenten, prijslijsten of contracten in PDF formaat die Google niet mag indexeren. Een meta tag kun je niet in een PDF plaatsen.

Afbeeldingen uitsluiten van Google Images. Je wilt dat bepaalde afbeeldingen niet verschijnen in Google Images zoekresultaten. Denk aan watermark-loze versies of client work in progress.

Hele directories blokkeren. Je hebt een /downloads/ of /intern/ directory die volledig van indexering moet worden uitgesloten. Eén X-Robots-Tag regel in plaats van honderden meta tags.

Dynamische content zonder HTML toegang. Je genereert content dynamisch waarbij je geen meta tag in de HTML kunt plaatsen. Of je gebruikt een systeem zonder HTML controle.

Server level controle. Je beheert meerdere sites of wilt één configuratie voor alle paginas zonder elke pagina individueel aan te passen.

Staging en development omgevingen. Je wilt je hele test site op noindex zonder overal meta tags te hoeven toevoegen.

Hoe X-Robots-Tag werkt

Begrijp eerst het technische proces.

Wanneer een zoekmachine je pagina crawlt, stuurt je server HTTP headers terug. Deze headers bevatten metadata over de response. Eén van die headers kan X-Robots-Tag zijn:

HTTP/1.1 200 OK
Content-Type: application/pdf
Content-Length: 1234567
X-Robots-Tag: noindex, nofollow

Google leest deze header en past de instructies toe voordat de content wordt verwerkt. Dit werkt voor alle content types: HTML, PDF, images, videos, downloads, zelfs ZIP bestanden.

Het verschil met meta robots tags: die zitten in de HTML content zelf. X-Robots-Tag zit in de HTTP response headers, voor de content.

Beschikbare directives in detail

Dit zijn alle X-Robots-Tag instructies die je kunt gebruiken.

noindex

Pagina niet opnemen in zoekresultaten. Content wordt wel gecrawld maar niet getoond in de index.

Gebruik dit voor:

• Interne documenten die niet publiek vindbaar moeten zijn
• Duplicate content die je wel online wilt hebben maar niet in Google
• Thin content paginas zonder toegevoegde waarde
• Admin paginas of login forms

nofollow

Links op deze pagina niet volgen. Link equity wordt niet doorgegeven via uitgaande links.

Gebruik dit voor:

• User-generated content met links die je niet vertrouwt
• Betaalde link directories
• Comment sections met spam risico

none

Combinatie van noindex en nofollow. De meest restrictieve optie. Equivalent aan noindex, nofollow samen.

Gebruik dit voor:

• Maximale restrictie van content
• Content die absoluut niet in Google mag

noarchive

Geen cached versie tonen in zoekresultaten. De “Cached” link bij je snippet wordt verwijderd.

Gebruik dit voor:

• Dynamische content die snel verandert
• Gevoelige content die niet in cache mag
• Membership content dat achter paywall zit

nosnippet

Geen snippet of preview tekst tonen in zoekresultaten. Alleen titel en URL verschijnen.

Gebruik dit voor:

• Content waar preview misleidend zou zijn
• Legal content waar context essentieel is
• Content waar je geen preview wilt geven

max-snippet

Beperk snippet tot maximaal X karakters. Bijvoorbeeld: max-snippet:100 toont maximaal 100 karakters.

Gebruik dit voor:

• Controle over hoeveel preview je toont
• Balans tussen visibility en mystery

max-image-preview

Beperk image preview grootte. Opties: none, standard, large.

none: geen image preview
standard: kleine thumbnail
large: grote preview afbeelding

Gebruik dit voor:

• Bescherming van hoge resolutie afbeeldingen
• Fotografen die full size previews willen vermijden

max-video-preview

Beperk video preview tot X seconden. Bijvoorbeeld: max-video-preview:30 toont maximaal 30 seconden preview.

Gebruik dit voor:

• Video content waar je beperkte preview wilt
• Premium content achter paywall

notranslate

Geen vertaling aanbieden in zoekresultaten. Google translate link wordt niet getoond.

Gebruik dit voor:

• Content waar vertaling kwaliteit slecht zou zijn
• Technical content met specifieke terminologie
• Brand content waar vertalingen misleidend zijn

unavailable_after

Content niet meer indexeren na specifieke datum. Formaat: unavailable_after: 2025-12-31

Gebruik dit voor:

• Event pages die na een datum irrelevant worden
• Tijdelijke promoties
• Seasonal content

Implementatie op Apache servers

Apache gebruikt .htaccess bestanden voor configuratie. Voeg X-Robots-Tag headers toe via mod_headers module.

Voorwaarde: mod_headers activeren

Check eerst of mod_headers actief is:

apache2ctl -M | grep headers

Zie je “headers_module”? Dan werkt het. Zo niet, activeer het:

sudo a2enmod headers
sudo systemctl restart apache2

Specifiek bestand blokkeren

Voor één specifiek bestand:

<Files "intern-document.pdf">
    Header set X-Robots-Tag "noindex, nofollow"
</Files>

Dit blokkeert alleen intern-document.pdf van indexering.

Alle PDFs in een directory blokkeren

<FilesMatch "\.pdf$">
    Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Dit blokkeert alle PDF bestanden in de directory waar deze .htaccess staat en alle subdirectories.

Hele directory blokkeren

In je hoofd .htaccess of Apache config:

<Directory "/var/www/html/intern/">
    Header set X-Robots-Tag "noindex, nofollow"
</Directory>

Dit blokkeert alle content in /intern/ directory, ongeacht bestandstype.

Meerdere bestandstypes blokkeren

<FilesMatch "\.(pdf|doc|docx|xls|xlsx|zip)$">
    Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Dit blokkeert PDFs, Word documenten, Excel sheets en ZIP bestanden.

Conditie toevoegen

Alleen voor specifieke user agents:

<FilesMatch "\.pdf$">
    Header set X-Robots-Tag "googlebot: noindex, nofollow"
</FilesMatch>

Dit blokkeert alleen Googlebot, andere bots kunnen nog steeds indexeren.

Implementatie op Nginx servers

Nginx gebruikt configuratie bestanden voor server settings. Voeg headers toe via add_header directive.

Hele directory blokkeren

location /downloads/ {
    add_header X-Robots-Tag "noindex, nofollow" always;
}

De “always” parameter zorgt dat de header altijd wordt toegevoegd, ook bij error responses.

PDFs blokkeren

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex, nofollow" always;
}

Dit matcht alle URLs die eindigen op .pdf.

Meerdere bestandstypes

location ~* \.(pdf|doc|docx|zip|tar\.gz)$ {
    add_header X-Robots-Tag "noindex, nofollow" always;
}

Let op de escaping van dots met backslash.

Specifieke subdomain noindex

server {
    server_name staging.jouwesite.nl;
    add_header X-Robots-Tag "noindex, nofollow" always;
    ...
}

Dit zet je hele staging omgeving op noindex.

Implementatie in WordPress

Voor WordPress sites kun je X-Robots-Tag headers toevoegen via functions.php of een plugin.

Via functions.php

Voeg dit toe aan je child theme functions.php:

function add_xrobots_header() {
    // Block attachment pages
    if (is_attachment()) {
        header('X-Robots-Tag: noindex, nofollow', true);
    }
    
    // Block search results
    if (is_search()) {
        header('X-Robots-Tag: noindex, follow', true);
    }
    
    // Block author archives
    if (is_author()) {
        header('X-Robots-Tag: noindex, follow', true);
    }
}
add_action('send_headers', 'add_xrobots_header');

Dit blokkeert WordPress attachment paginas, search results en author archives van indexering.

PDFs in WordPress blokkeren

function block_pdf_indexing() {
    if (is_attachment() && get_post_mime_type() == 'application/pdf') {
        header('X-Robots-Tag: noindex, nofollow', true);
    }
}
add_action('send_headers', 'block_pdf_indexing');

Uploads directory blokkeren via .htaccess

Maak een .htaccess in wp-content/uploads/:

<FilesMatch "\.(pdf|doc|docx)$">
    Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Meerdere directives combineren

Je kunt meerdere instructies tegelijk gebruiken.

Basis combinatie:

X-Robots-Tag: noindex, nofollow, noarchive

Dit blokkeert indexering, link following en caching.

Voor specifieke user agents:

X-Robots-Tag: googlebot: noindex
X-Robots-Tag: bingbot: nofollow

Google mag niet indexeren, Bing mag wel indexeren maar niet links volgen.

Maximum snippet controle:

X-Robots-Tag: nosnippet, max-image-preview:standard

Geen text snippet maar wel een kleine image preview.

X-Robots-Tag vs Meta Robots

Wat zijn de verschillen en wanneer gebruik je welke methode?

Gebruik X-Robots-Tag als:

• Je niet-HTML bestanden wilt controleren (PDFs, images, videos)
• Je hele directories tegelijk wilt blokkeren
• Je server level controle wilt over alle content
• Je geen toegang hebt tot de HTML van paginas
• Je een staging environment volledig wilt blokkeren

Gebruik Meta Robots als:

• Je normale HTML paginas controleert
• Je een CMS gebruikt zoals WordPress of Shopify
• Je geen server toegang hebt
• Je per pagina verschillende instructies wilt geven
• Je geen technische kennis hebt van server configuratie

Wat gebeurt er bij conflicten?

Als zowel X-Robots-Tag als meta robots tag instructies geven, past Google de meest restrictieve optie toe.

Voorbeeld scenario:

X-Robots-Tag: noindex, follow
Meta robots: index, nofollow

Google combineert dit tot: noindex, nofollow. De meest restrictieve optie van beide.

Beste praktijk: kies één methode per resource om verwarring en onverwachte resultaten te voorkomen.

X-Robots-Tag testen en verifiëren

Altijd verifiëren dat je headers correct worden verstuurd voordat je ze op productie implementeert.

Via browser DevTools

Stappen in Chrome of Firefox:

1. Open je pagina in de browser
2. Druk F12 om DevTools te openen
3. Ga naar Network tab
4. Refresh de pagina met Cmd+R of Ctrl+R
5. Klik op de eerste request (je HTML document)
6. Klik op Headers tab
7. Scroll naar Response Headers
8. Zoek naar X-Robots-Tag

Zie je de header met je instructies? Dan werkt het.

Via curl command line

Voor snelle checks via terminal:

curl -I https://jouwesite.nl/document.pdf

De -I flag toont alleen headers, niet de volledige content. Zoek in de output naar X-Robots-Tag.

Voor betere formatting:

curl -I https://jouwesite.nl/document.pdf | grep -i x-robots-tag

Via online tools

Deze tools controleren headers voor je:

• HTTP Header Checker op seositecheckup.com
• Redirect Checker op redirectcheck.com
• Web Sniffer op websniffer.cc
• Google Search Console URL Inspection Tool

Veelgemaakte fouten en oplossingen

Deze fouten komen vaak voor. Leer ze kennen om ze te vermijden.

Typo in directive namen.

❌ Fout: X-Robots-Tag: no-index, no-follow
✅ Correct: X-Robots-Tag: noindex, nofollow

Let op: geen streepjes, alles aan elkaar.

mod_headers niet geactiveerd op Apache.

Headers werken niet? Check of de module actief is:

sudo a2enmod headers
sudo systemctl restart apache2

Nginx configuratie op verkeerde niveau.

Headers moeten in server of location block. Niet in http block. Anders worden ze niet toegepast.

Meerdere .htaccess files conflicteren.

Subdirectories met eigen .htaccess kunnen headers overschrijven. Check alle levels.

Cache houdt oude headers vast.

Na toevoegen van headers kan het even duren voordat CDN of browser cache refresht. Hard refresh met Ctrl+Shift+R. Of clear je CDN cache handmatig.

Forget “always” parameter in Nginx.

Zonder “always” worden headers alleen bij 200 OK responses toegevoegd. Bij redirects of errors niet. Voeg altijd toe: add_header X-Robots-Tag “noindex” always;

Veelgestelde vragen over X-Robots-Tag

Kan X-Robots-Tag bestaande indexering verwijderen?

Ja, maar het kost tijd. Als je noindex toevoegt aan al geïndexeerde content, crawlt Google je site opnieuw. Dan pas verdwijnt de content uit de index. Dit duurt dagen tot weken afhankelijk van je crawl frequency.

Werkt X-Robots-Tag voor alle zoekmachines?

Alle grote zoekmachines ondersteunen het: Google, Bing, Yahoo, Yandex. Kleinere of oudere bots ondersteunen het mogelijk niet. Voor maximale compatibiliteit gebruik je meta robots tags als backup.

Kan ik X-Robots-Tag gebruiken met robots.txt?

Ja, maar let op: als je een URL blokkeert in robots.txt, kan Google de X-Robots-Tag header niet lezen. Google crawlt de URL namelijk niet. Voor noindex gebruik je X-Robots-Tag of meta tag, niet robots.txt.

Hoeveel X-Robots-Tag headers mag ik toevoegen?

Technisch geen limiet. Je kunt meerdere directives combineren in één header. Of meerdere headers sturen voor verschillende user agents. Praktisch: houd het simpel en duidelijk.

Moet ik X-Robots-Tag ook toevoegen aan redirects?

Niet nodig. Redirects (301, 302) worden niet geïndexeerd. De target URL bepaalt de indexering, niet de redirect zelf.

Kan X-Robots-Tag mijn hele site per ongeluk blokkeren?

Ja, als je het verkeerd configureert. Test altijd eerst op staging. Check met curl of browser tools voordat je live gaat. Hou een backup van je configuratie bestanden.

X-Robots-Tag checklist

Print deze checklist voordat je X-Robots-Tag implementeert:

• ✅ Server type bepaald (Apache of Nginx)
• ✅ mod_headers actief op Apache (a2enmod headers)
• ✅ Backup gemaakt van config bestanden
• ✅ Directive syntax correct (noindex, niet no-index)
• ✅ Headers getest op staging eerst
• ✅ Verificatie met curl of browser DevTools
• ✅ Cache cleared (server, CDN, browser)
• ✅ Belangrijke paginas niet per ongeluk geblokkeerd
• ✅ Google Search Console URL Inspection gedaan
• ✅ Monitoring ingesteld voor indexatie changes

Hulp nodig met X-Robots-Tag implementatie?

X-Robots-Tag is een krachtige tool maar vereist server kennis. Een verkeerde configuratie kan je hele site blokkeren van Google indexering.

Ik help met correcte implementatie van X-Robots-Tag headers, audits van bestaande robots configuraties en troubleshooting van indexatie problemen.

Neem contact op voor advies over jouw specifieke situatie.

Erwin Verbeek is SEO- en GEO-specialist en oprichter van Online Ambition. Meer over Erwin