# robots.txt zu http://firmen2000.webtresor.de// User-agent: * Allow: default.htm Allow: inhalt1.htm Allow: inhalt2.htm Allow: inhalt3.htm Allow: inhalt.htm User-agent: * Disallow: /aspnet_client/ Disallow: /images/ Disallow: /mail/ Disallow: /log/ Disallow: /script/ Disallow: /docs/ #Um die Indizierung der kompletten Website mit allen Unterverzeichnissen zu verbieten, wird lediglich ein Slash gesetzt. #Disallow:/