https://hilfe.all-connect.net/index.php?action=history&feed=atom&title=Fertige_%22robots.txt%22_Datei_zum_anpassen 2026-04-29T17:04:28Z Versionsgeschichte dieser Seite in all-connect Hilfe-Center MediaWiki 1.36.2 https://hilfe.all-connect.net/index.php?title=Fertige_%22robots.txt%22_Datei_zum_anpassen&diff=892&oldid=prev 2013-11-14T17:59:25Z

<p>Die Seite wurde neu angelegt: „__NOTOC__ Ja. Die &quot;robots.txt&quot;-Datei wird von Suchmaschinen in Ihrem Web-Server Verzeichnis gesucht. In dieser Datei könnten z.B. Einschränkungen für die S…“</p> <p><b>Neue Seite</b></p><div>__NOTOC__<br /> <br /> Ja.<br /> Die &quot;robots.txt&quot;-Datei wird von Suchmaschinen in Ihrem Web-Server Verzeichnis gesucht. In dieser Datei könnten z.B. Einschränkungen für die Suchmaschine stehen, welche Verzeichnisse oder Dateien nicht indiziert werden dürfen.<br /> <br /> ====Beispiel 1====<br /> <br /> Jeder Robot darf alles durchsuchen, außer /cyberworld/map/, /tmp/ und die Datei foo.html direkt im Hauptverzeichnis Ihres Web-Servers.<br /> User-agent: *<br /> Disallow: /cyberworld/map/<br /> Disallow: /tmp/<br /> Disallow: /foo.html<br /> <br /> ====Beispiel 2====<br /> <br /> Kein Robot darf /cyberworld/map/ durchsuchen - Nur der Robot &quot;cybermapper&quot; darf das.<br /> User-agent: *<br /> Disallow: /cyberworld/map/<br /> User-agent: cybermapper<br /> Disallow:<br /> <br /> ====Beispiel 3====<br /> Kein Robot darf Ihren Server durchsuchen.<br /> User-agent: *<br /> Disallow: /<br /> <br /> [[Category:Einstellungen_Webserver]]</div>

Acdc