Die Robots steuern

Um die Suchmaschinen zu steuern (in der Regel wird dabei von Robots, Crawlern oder Spidern gesprochen), kann man sich zwei Methoden bedienen, die bestenfalls kombiniert werden.

1. Erstellen einer robots.txt Datei, die im Web-Root angelegt wird
2. Einfügen des Metatags <meta name="robots" content="index, follow" />

Beispiel für den Inhalt der robots.txt

# Ganze Site freigeben
User-agent: *
Disallow:

# Alle Robots für den Ordner temp ausschließen
User-agent: *
Disallow: /temp/

Gültige werte für das Attribut "content" des Robots-metatags:

index/noindex, follow/nofollow

index: Seite durchsuchen und in den Suchmaschinenindex aufnehmen
noindex: Seite nicht in den Index aufnehmen
follow: Links, die auf der Seite gefunden werden folgen
nofollow: Links der Seite nicht folgen

Normalerweise sind die Werte "index, follow" zu verwenden, es sei denn, sie möchten bestimmte Seiten ausschließen, dann empfiehlt sich die gezielte Verwendung des "noindex"-Attributs.