Robots.txt is een eenvoudig tekstbestand dat op elke website zou moeten staan. Dit bestand bevat instructies voor robots en websitecrawlers van Google en anderen. robots.txt geeft precies aan welke delen van de website wel en welke niet kunnen worden bekeken.
Er zijn verschillende redenen waarom bepaalde delen van de website niet worden geïndexeerd. De pagina kan bijvoorbeeld veel dubbele inhoud bevatten of de pagina heeft geen waarde voor zoekmachines. Dit kan bijvoorbeeld een contactpagina of een bedankpagina zijn.
Als we in deze context naar robots.txt kijken, vertoont het veel overeenkomsten met DoFollow- en NoFollow-links. Maar er zijn duidelijke verschillen. Na het instellen van NoFollow wordt de pagina geïndexeerd en weergegeven in de zoekresultaten.
Dit kan worden geblokkeerd door robots.txt. Een andere optie is om NoIndex in te stellen via een plug-in of hard-coded.

list