Gute Spinnen, schlechte Spinnen, Spider Trap.

11. Juni 2007

Suchmaschinen Spider, SpamWer eine Webseite erstellt, möchte normalerweise, dass die Suchmaschinen-Spider [WebCrawler, Robots, Bots] – auch häufige Gäste sind, fleißig vorbeischauen, indizieren und Nutzer auf die Seite leiten.

Es gibt jedoch Bereiche einer Webseite, die vielleicht nicht jeder sehen, finden und sehen soll – seien es interne Seiten, private Fotogalerien, Intranets. Jochen hat ein schönes Tool entdeckt, mit dem man unliebsamen, schlecht erzogene Spider aussperren kann.

Normalerweise reicht eine robots.txt-Datei, in der man die Seiten angeben kann, die nicht indiziert werden sollen. Die seriösen Suchmaschinen halten sich auch daran und indizieren die dort angebenen Seiten nicht. Doch solche Spider, die nur darauf aus sind, E-Mail-Adressen zum Spammen zu sammeln oder Bilder und Texte zu klauen, interessiert das wenig.

Das Tool Spider Trap baut solchen Robots eine Falle. Wenn sie sich nicht an die robots.txt halten, gehen sie in die Falle und können die Seite nicht mehr indizieren. Eine interessante Idee, die man ausprobieren sollte.

Ähnliche Artikel:

Meta-Daten



Auch mal Kommentieren:

Kommentar