Die Google-Webmaster-Tools (WMT) sind ja eine feine Sache, zeigen sie einem doch gegebenenfalls Probleme mit der eigenen Website auf. Wenn allerdings ständig ein vermeintliches, schwerwiegendes Problem angezeigt wird, welches gar keins ist, dann stumpft das den Blick auf die echten, möglicherweise vorhandenen Mängel mit der Zeit ab.
So meldet mir schon seit Monaten die WMT-Startseite bei einer Domain folgendes:
Es wurden schwerwiegende Probleme bezüglich des Status Ihrer Website gefunden.
Eine wichtige Seite wird durch robots.txt blockiert.
Warum die Seite nun für Google wichtig ist, weiß ich nicht. Zumindest habe ich bei vollem Bewußtsein und mit Absicht tatsächlich alle Bots per robots.txt ausgeschlossen:
User-agent: * Disallow: /
Google kann sich wahrscheinlich nicht vorstellen, daß es Websites gibt, die nur für normale Nutzer gemacht wurden und deren Inhalt einfach nicht von den Crawlern erfaßt werden soll. Insbesondere sollen die Inhalte nicht in den Suchergebnissen von Suchmaschinen auftauchen. Punkt, aus, fertig.
Ich würde mir wünschen, daß ich als Webmaster in den Google-Webmaster-Tools solche Meldungen wegklicken kann. Nach dem Motto:
„Ich habe es gelesen aber es ist so beabsichtigt und kein Fehler. Die Meldung bitte nicht mehr anzeigen.“
Dann wäre auch der Blick auf die wirklichen Probleme wieder frei.
Hi Ingo.
Wie soll das gehen? Einerseits verbietest du dem Bot den Zugriff, andererseits willst du den Blick „auf die wirklichen Probleme wieder frei“ haben. Diese Probleme wird der Bot aber nie finden, da du ihm den Zugriff untersagst.
Aber sei ohne Sorge, ich glaube nicht dass bei einer Seite von dir tatsächlich schwerwiegende Probleme auftauchen dürften ;-)
Floh
Der Bot soll ja auch keine Probleme finden. Das mit dem „Blick auf die wirklichen Probleme wieder frei“ meine ich eher insgesamt auf die Webmastertools bezogen, nicht jetzt speziell auf diese Domain.
Mittlerweile weiß ich ja, wo da die Meldung herkommt, sie stört mich aber trotzdem irgendwie. :-)
Wenn die Inhalte nicht in den Suchergebnissen auftauchen sollen würde ich das über die Meta-Angabe „noindex“ lösen und die Bots trotzdem zulassen.
Nur so ist gewährleistet, dass von extern verlinkte Inhalte nicht auftauchen. Denn wenn der Bot vor vornerein ausgeschlossen wird kann er das „noindex“, insofern vorhanden, nicht lesen und wird die Seite listen wenn von aussen verlinkt.
Ja ich weiß, daß sieht dann so lustig aus wie hier. :-)
Wobei da die Ursache eine andere ist, sooo viele externe Links gibt es garantiert nicht.
Ich sollte mal die Seite in den WMT einfach per „URL entfernen“ rausnehmen. Hatte ich zwar schon mal gemacht, aber das läuft nach einer gewissen Zeit wieder ab. Hab es grad mal eingetragen, so sieht das dann aus:
Hier wird ja explizit die robots.txt verlangt. Hatte ich auch schon letztes mal gemacht. Naja, mal sehen…
OK, aus Google-Sicht ist das sicher einer der größten Fehler den man als Webmaster machen kann und ja, man müsste es weg klicken können. Als gelesen markieren … oder wie auch immer.
Hatte mich auch etwas erschrocken, als ich es das erste mal gesehen habe. Jetzt habe mich bei dem Projekt daran gewöhnt und hoffe, dass es bei diesem Projekt mal nicht wirklich ein Problem (z.B. Malware) geben wird. Ich denke, dass ich das dann nicht mitbekomme.
Das ist ja einer der gröööößten Böcke den man als Webmaster nur schießen kann!! Ich verstehe hier den Sinn nicht?
Warum verwährst du den Bot den Zugriff?
Hatte ich geschrieben, ich will hauptsächlich vermeiden, daß die Seiten in den Google-Suchergebnissen auftauchen. Das ist eine Blog-Übersicht nur für Leser, nicht für Suchmaschinen. Es ist so gewollt, beabsichtigt, intendiert und kein Bock oder Fehler.
Wenn Du vermeiden willst, dass die Seiten in Google auftauchen, dann solltest Du nicht über die robots.txt arbeiten. Denn damit tauchen sie mit Sicherheit darin auf (ohne Titel und Beschreibung). Mach einfach mal ne Site-Abfrage, dann dürftest Du das sehen.
Einzige Möglichkeit zu verhindern, dass Google etwas indexiert ist der Meta Tag noindex.
Aber wer von den normalen Nutzern, die irgendwas bei Google suchen, macht schon eine site-Abfrage? Meine Seite wird mit normalen Suchanfragen mit Sicherheit nicht bei Google auftauchen und das reicht mir.
Ich will ja nur verhindern, daß meine Seite zu den aggregierten Inhalten der anderen Blogs gefunden wird. Da Google aber nicht weiß, was da steht, können meine Seiten zu den Inhalten nicht bei den Suchergbnissen auftauchen.
Hier übrigens die Site-Abfrage: http://goo.gl/olPFv :-)