# Robots-Zugriffe auf alle Dateien erlauben

User-agent: *
Allow: /

# Diese Datei sollte nicht gelöscht werden, da damit viele "error 404 - not found" vermieden werden
# Suchmaschinen suchen zuerst diese Datei und befolgen deren Anweisungen. Ist diese nicht vorhanden,
# erzeugt deren Suche einen Fehler-Eintrag im Log-File.
# Alles was hinter # steht, ist Kommentar und wird von den Robots nicht beachtet.
#
# Mit "User-agent: ?" gibt man an, welche Suchmaschinen angesprochen werden sollen
# Unter "Disallow: ?" werden alle Verzeichnisse und/oder Dateien aufgeführt, die nicht indexiert werden sollen
# 
# 
# Ein Beispiel:
# =============
# 
# User-agent: *                 betrifft alle Suchmaschinen
# Disallow: /news/              verweigert Indexierung des Verzeichnisses "news"
# Disallow: /radio.htm          verweigert Indexierung der Datei "radio.htm" (z.B. bei täglichen Änderungen)
# Disallow: /temp               verweigert Indexierung aller Dateien und Verzeichnisse, die mit "temp" beginnen (temp*)
# 
# 
# Es gibt noch die Möglichkeit von "allow", diese wird aber nicht von allen Robots unterstützt:
# 
# User-agent: *                 betrifft alle Suchmaschinen
# Disallow: /news/              verweigert Indexierung des Verzeichnisses "news"
# Allow: /news/website.htm      erlaubt die Indexierung der Datei "website.htm" im Verzeichnis "news"
# 
# 
# Generell ist zu erwähnen, dass die Robots nicht verpflichtet sind,
# sich an diese Anweisungen zu halten die meisten machen dies aber.
# 
# Weitere Informationen unter http://www.bjoernsworld.de/suchmaschinen/robots-txt.html