robots.txt

Hallo,
die Angaben meiner robots.txt werden bei einer Kontrolle mit der robots.txt-Analyse von google als fehlerhaft ausgegeben:
"Syntax wurde nicht verstanden"

hier der Quellcode:
# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================

User-agent: *
Disallow: /cgi-bin/
Disallow: /seniorenkompetenz/
Disallow: /marionetten/

# ===================================
# Schließe folgende Spider komplett aus:
# ===================================

User-agent: EmailCollector
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: penthesilea
Disallow: /


Vieleicht kann mir einer sagen was ich falsch gemacht habe!
Oder interpretire ich die Aussage von google falsch?

 

Prüf deine Datei mal auf eventuell vorhandene Leerzeichen vor den Einträgen. Also am Anfang jeder Zeile. Falls da Leerzeichen vorhanden sind entferne diese.

 

Die Idee hatte ich auch schon.
Dennoch danke für den Tipp

 

Die meisten Tools bemängeln Wildcard-Ausdrücke. Kann man ignorieren. Die meisten Crawler/Spider interessieren sich eh nicht für die Datei. Wenn man unerwünschte Datensammler draußen halten will, muss man schon wirksamere Geschütze auffahren.

 

Wie sähe solch ein GESCHÜTZ denn aus?

 

Über die .htaccess lassen sich z.B. Zugriffsrechte auf Datei-/Verzeichnisebene über die IP festlegen. Zudem kann man mit mod_rewrite UserAgents u.ä. filtern. Letzteres geht aber auf die Performance des Servers, so dass man die Einträge nicht ausufern lassen sollte. Natürlich kann man auch die Firewall des Servers nutzen, wenn man darauf Zugriff hat.

 

auf das naheliegendste kommt man immer zu Schluss.
wed mich mal mit der .htaccess auseinander setzen.



Grüße vom Obertroll