Alle begrippen

Betekenis: Robot.txt

Robots.txt is een term voor een bepaald bestand die webmasters aan websites kunnen toevoegen. Het doel van het robots.txt bestand is om zoekmachines aan te geven om bepaalde delen van een website niet te indexeren.

De betekenis van robot.txt

Een robots.txt bestand bevat een set aan instructies voor robots. Met de robots worden crawlers van bijvoorbeeld Google bedoeld. Deze instructies hebben betrekking tot de indexatie van pagina’s. Het robots.txt bestand is opgenomen in de broncode voor de meeste websites. Het bestand is meestal terug te vinden door in de adresbalk van je browser ‘domeinnaam/robots.txt’ te typen.

Waarom zou je bepaalde pagina’s uitsluiten voor indexatie??

Het indexeren van je website is een belangrijk onderdeel van zoekmachine optimalisatie. Het is immers een vereiste om zichtbaar te zijn in de SERP. Toch zijn er redenen om pagina’s te willen uitsluiten voor indexatie. Bijvoorbeeld pagina’s die te maken hebben met betalingen, de privacyverklaring of de loginpagina voor het CMS. In het robots.txt bestand kunnen individuele pagina’s worden uitgesloten, of pagina’s die een bepaalde URL-slug bevatten. In het robots.txt bestand komt dit er dan als volgt uit te zien: “Disallow: /Catalog/”.

Profielfoto Olaf

Meer weten over Robots.txt?

Onze specialisten staan voor je klaar. Neem contact met ons op om meer te weten te komen over Robots.txt.

Kom in contact