Fertige "robots.txt" Datei zum anpassen

Ja. Die "robots.txt"-Datei wird von Suchmaschinen in Ihrem Web-Server Verzeichnis gesucht. In dieser Datei könnten z.B. Einschränkungen für die Suchmaschine stehen, welche Verzeichnisse oder Dateien nicht indiziert werden dürfen.

Beispiel 1

Jeder Robot darf alles durchsuchen, außer /cyberworld/map/, /tmp/ und die Datei foo.html direkt im Hauptverzeichnis Ihres Web-Servers.

User-agent: *
Disallow: /cyberworld/map/
Disallow: /tmp/
Disallow: /foo.html

Beispiel 2

Kein Robot darf /cyberworld/map/ durchsuchen - Nur der Robot "cybermapper" darf das. User-agent: *

Disallow: /cyberworld/map/
User-agent: cybermapper
Disallow:

Beispiel 3

Kein Robot darf Ihren Server durchsuchen.

User-agent: *
Disallow: /