Betekenis: Robot.txt

De betekenis van robot.txt

Een robots.txt bestand bevat een set aan instructies voor robots. Met de robots worden crawlers van bijvoorbeeld Google bedoeld. Deze instructies hebben betrekking tot de indexatie van pagina’s. Het robots.txt bestand is opgenomen in de broncode voor de meeste websites. Het bestand is meestal terug te vinden door in de adresbalk van je browser ‘domeinnaam/robots.txt’ te typen.

Waarom zou je bepaalde pagina’s uitsluiten voor indexatie??

Het indexeren van je website is een belangrijk onderdeel van zoekmachine optimalisatie. Het is immers een vereiste om zichtbaar te zijn in de SERP. Toch zijn er redenen om pagina’s te willen uitsluiten voor indexatie. Bijvoorbeeld pagina’s die te maken hebben met betalingen, de privacyverklaring of de loginpagina voor het CMS. In het robots.txt bestand kunnen individuele pagina’s worden uitgesloten, of pagina’s die een bepaalde URL-slug bevatten. In het robots.txt bestand komt dit er dan als volgt uit te zien: “Disallow: /Catalog/”.