Analys av cachad robots.txt [?]

Betygsätt det här verktyget:

Webbadress till robots.txt	http://www.bryggan.net/robots.txt
Senast hämtad	den 25 oktober 2006 02:02:06 PDT
Status	404 (Hittades inte) [?]

Testa den här robots.txt-filen och prova med olika ändringar

Text i http://www.bryggan.net/robots.txt
Standardtexten i den cachade robots.txt-filen visas nedan. Om du har ändrat i filen sedan vi hämtade den kan texten vi visar avvika från den senaste versionen. Vi söker efter nya robots.txt-filer ungefär dagligen.

Lämna texten som den är för att se om den cachade robots.txt-filen blockerar åtkomst till specifika webbadresser. Revidera denna text för att se hur justeringarna i robots.txt-filen ändrar åtkomsten till specifika webbadresser. robotstxt.org innehåller mer information om robots.txt-syntax.

Observera att du inte ändrar robots.txt-filen som finns på din webbplats när du ändrar den här texten. När du har testat ändringarna av robots.txt här, måste du göra motsvarande ändringar i filen på webbplatsen.

Testa webbadresser mot den här robots.txt-filen
Vi har lagt till den första åt dig. Lista varje webbadress (en per rad) som du vill kontrollera.

Välj user-agents [?]
Google använder flera användaragenter. Du kan begränsa åtkomsten för specifika användaragenter i den här robots.txt-filen. Vi kontrollerar Googlebot automatiskt, eftersom vi använder den för våra vanliga webbgenomsökningar. Du kan välja att testa ytterligare en användaragent. Vår sida med borttagningsuppgifter innehåller mer information om hur du begränsar åtkomsten för användaragenter i en robots.txt-fil.

Googlebot : genomsöker sidor för vårt webbindex och Google Nyheter