Problemen met je robots.txt? Zo zet je hem goed

Robots.txt is een klein tekstbestand in de hoofdmap van je site, bijvoorbeeld jouwsite.nl/robots.txt. Het vertelt zoekmachines welke delen ze mogen bekijken en waar je sitemap staat.

In het kud-rapport Geen robots.txt gevonden

Waarom het uitmaakt

Zonder robots.txt mag Google alles bekijken, en dat is meestal prima. Maar je mist de kans om je sitemap door te geven en onzinpagina's, zoals interne zoekresultaten, uit te sluiten.

Gevaarlijker is een robots.txt met Disallow: /. Die verbiedt zoekmachines om je hele site te bekijken, en dan word je nauwelijks gevonden.

Zo los je het op

Maak een tekstbestand met de naam robots.txt en zet het in de hoofdmap van je site.
Begin eenvoudig: alles toestaan en je sitemap noemen (zie het voorbeeld).
Staat er Disallow: / onder User-agent: *? Haal die regel weg, tenzij je site bewust onvindbaar moet zijn.
Sluit alleen dingen uit die echt niet in Google horen, zoals een beheeromgeving of winkelwagen.
Test je bestand in Google Search Console.

User-agent: *
Disallow:

Sitemap: https://jouwsite.nl/sitemap.xml

Op jouw platform

WordPress: WordPress maakt automatisch een virtuele robots.txt. Yoast SEO en Rank Math laten je die aanpassen via hun instellingen.
Shopify en Wix: Maken er zelf een die prima werkt. Aanpassen kan, maar is zelden nodig.

Veelgestelde vragen

Haalt robots.txt een pagina uit Google?

Niet betrouwbaar. Robots.txt verbiedt bekijken, niet opnemen. Wil je een pagina uit Google houden, gebruik dan een noindex-tag.

Is robots.txt een beveiliging?

Nee. Iedereen kan het bestand lezen, en kwaadwillenden houden zich er niet aan. Gebruik het niet om geheime pagina's te verstoppen.