Soubor robots.txt by měl být umístěný v rootu webu. Každý robot, který pak web navštíví, by se měl napřed podívat, zda nemá zakázaný přístup.

Pokud necháme robots.txt úplně prázdný, říkáme tím totéž, co tímto zápisem. Roboti vyhledávačů smějí všude.

User-agent: *
Disallow: