← Zur Begriffsliste R

Robots.txt

Rubrik:Internet

Beschreibung

Die Datei robots.txt enthält Hinweise für automatisierte Webcrawler, welche Bereiche einer Website sie abrufen sollen.

Die Datei robots.txt enthält Hinweise für automatisierte Webcrawler, welche Bereiche einer Website sie abrufen sollen. Sie liegt üblicherweise im Stammverzeichnis einer Domain. Die Regeln sind freiwillige Anweisungen und keine technische Zugriffssperre. Vertrauliche Inhalte dürfen daher nicht allein durch robots.txt geschützt werden.