Robots.txt dient dazu den Suchmaschinen-Robots (Such-Robots) anzugeben, wie sie sich auf Ihrer Seite verhalten sollen resp. wie die Robots Ihre Website durchsuchen (engl. crawlen) sollen. Sie  können gewisse Robots in der Datei Robots.txt anweisen die Seite nicht zu durchsuchen oder den Robots die Anweisung geben gewisse Bereiche oder Webseiten nicht zu crawlen (durchsuchen). Wichtig: Alle Anweisungen in der Datei Robots.txt sind Wünsche an die Robots. Es ist mit Robots.txt nicht möglich Robots auszuschliessen oder Robots den Zutritt zu gewissen Webseiten zu verwehren! Die Erfahrung zeigt jedoch, dass die modernen Suchmaschinen die Datei Robots.txt und deren Anweisungen berücksichtigen. Es besteht jedoch keine Garantie, dass Robots.txt berücksichtigt wird. Gute Chacen, dass die Datei Robots.txt auch von seriösen Suchmaschinen-Robots ignoriert wird, haben all jene welche in Robots.txt versuchen zu tricksen, die Suchmaschine zu täuschen und zu offensichtlich zu steuern… „Bösartige“ Robots werden die Datei Robots.txt generell eher ignorieren und crawlen, was das Zeug hält.

=> TIPP: Geben Sie in der Datei Robots.txt den Speicherort (URL) Ihrer XML-Sitemap an. So können Suchmaschinen direkt aus der Datei Robot.txt auf Ihre XML-Sitemap zugreifen.