Heute gab es bei seokratie.de eine Diskussion über den Googlebot. Dieser holt sich wohl auch Seiten, die per robots.txt gesperrt sind.
Ich wollte es ja nicht glauben, denn ich habe z.B. ein paar Botfallen ausgelegt, in die regelmäßig nur die ganz wilden Bots rennen, die sich eben nicht an die Vorgaben in der Robots-Datei halten.
Nun habe ich mir mal eine meiner Seiten angeschaut, die von Anfang an jedem Bot alles verbietet. Mit der Google-Site-Abfrage ergibt sich da eine lustige Linkliste, praktisch ohne Inhalten und zum großen Teil auch ohne Seitentitel. Da wo es Seitentitel gibt, sind diese mehrere Jahre alt, denn ich hab mittlerweile die Titel etwas umgebaut.
Als ich damals gemerkt hatte, daß einige Seiten im Google-Index auftauchen, habe ich die komplette Website in den Webmastertools gesperrt. Seitdem (Dezember 2009) hält sich der Googlebot auch daran, wie ich in den Logfiles gesehen habe.
Ich könnte mir vorstellen, daß die robots.txt aus welchen Gründen auch immer kurzzeitig nicht erreichbar/lesbar war und der Bot daher angefangen hatte, die Seiten einzulesen. Kürzlich ist mir der Googlebot wegen eines Serverproblems in die Botfalle getappst. Bis ich das gemerkt hatte, war er für knapp eine Woche ausgesperrt. Das Ergbnis war deutlich zu sehen. :-)