Bot « Schnurpsel

Googlebot-Image aus dem Winterschlaf erwacht?

16.03.2011 21:33 von schnurpselchen in Bildersuche, Internet

Googlebot - Erfassung von Bildern nach Tagen 03/2011

Ich beobachte ja praktisch alles und jeden. :-)

So ist mir heut aufgefallen, daß der „Googlebot-Image/1.0“ seit dem 9. März wieder sehr fleißig bei der Erfassung von Bildern mitarbeitet und nicht fast alles dem normalen „Googlebot/2.1“ überläßt. Zwischen 75 und 115 Bildern am Tag holte sich der Bot in den letzen Tagen bei putzlowitsch.de ab, das ist ein recht ordentlicher Wert.

Ab November/Dezember 2010 hatte der Googlebot-Image seine Aktivitäten stark zurück gefahren.

Googlebot - Erfassung von Bildern nach Monaten 03/2011

Von Dezember 2010 bis Februar 2011 hatte der Googlebot-Image (rot) im monatlichen Tagesmittel weniger Bilder erfaßt, als der normale Googlebot (blau).

Ich weiß zwar noch nicht genau, was das alles zu bedeuten hat, werde aber weiter dranbleiben und gegebenenfalls berichten.

Ein Kommentar »

Bildersuche wieder im grünen Bereich

11.02.2011 17:51 von schnurpselchen in Bildersuche, Internet

Nach nunmehr etwa einem Monat hat sich seit dem Fehler bei putzlowitsch.de alles weitestgehend normalisiert.

Die in den Google-Webmastertools angezeiten Suchzahlen liegen nach den roten Zahlen vom Januar wieder überwiegend im grünen Bereich. Aber das häng eher mit dem Rückgang der Suchzahlen zum Jahreswechsel und dem Anstieg am Jahresanfang zusammen, der so praktisch jedes Jahr zu beobachten ist.

Anzahl Bilder im Index

Wie sich das Aussperren des Google-Bots konkret ausgewirkt hat, ist ganz gut an der Anzahl der putzlowitsch-Bilder im Index zu sehen:

Google-Bildersuche: Anzahl Bilder mit Site-Abfrage im Index

Von einem Tag auf den anderen waren ca. 200 Bilder aus dem Index verschwunden (Einbruch der roten Linie zw. 6. und 13. 1.), das sind bei damals etwa 700 Bildern schon fast ein Drittel. Bis die Bilder wieder zurück im Index waren, hat es wesentlich länger gedauert, als nur ein paar Tage, es waren ungefähr drei Wochen. Nach etwa drei Wochen waren auch wieder die vielen HTTP-403-Fehler in den Webmastertools verschwunden. Aber so richtig war es auch da noch nicht überstanden.

Aprikosen und Kirschen wieder da

Nicht nur in der Site-Abfrage waren 200 Bilder verwschwunden, sondern logischerweise auch in der normalen Bildersuche zu den entsprechenden Suchwörtern. Vor ein paar Tagen sind nun auch die letzten verlorenen Bilder wieder zu finden:

Google-Bildersuche: Aprikosen - Top-10-Diagramm

Die letzten Rückkehrer waren die Aprikosen und Kirschen. Einige Bilder waren ganz verschwunden, andere waren durch Kopien auf anderen Seiten oder Hotlinks ersetzt worden. Einge Bilder mußten nach der Rückkehr auch eine Abwertung hinnehmen, die sie bid heute noch nicht wieder ausgleichen konnten.

Insgesamt ist aber erstmal wieder alles weitestgehend normalisiert.

Nie den Google-Bot aussperren

Ich kann nur jedem raten, niemals den Google-Bot für längere Zeit auszusperren. :-)

Selbst wenn das nur Stunden oder ein zwei Tage sind, die negativen Auswirkungen ziehen sich möglicherweise über Wochen und Monate hin.

Keine Kommentare »

Abgewertet, ersetzt und rausgeschmissen

09.01.2011 15:16 von schnurpselchen in Bildersuche, Internet

Nun gab es von Google die Quittung für den Ausfall der Putzlowitscher Zeitung am 5. Januar 2011. In den Webmastertools werden mir derzeit gut 1200 Fehler mit dem Statuscode 403 (Forbidden) angezeigt:

Googlebot Crawl-Errors: PZ am 9.1.2011

Ein Umzug mit Verzug

Am 5. Januar war der Google-Bot zuletzt gegen 1.30 Uhr bei putzlowitsch.de zu finden. Dann erfolgte seitens des Webhosters der Umzug auf einen neuen Server und somit bekamen alle dort gehosteten Seiten eine neue IP-Adresse. Für die dort registrierten Seiten war das auch kein Problem, nach kurzer Zeit waren die DNS-Server aktualisiert und Besucher und Suchmaschinenbots bekamen die Seiten wieder normal zu sehen.

Einige Seiten, die bei anderen Anbietern liegen, werden aber per DNS-A-Record auf den Webspace beim umgezogenen Server umgeleitet und da stimmte die IP-Adresse dann nicht mehr, weil diese Einträge nicht automatisch aktualisiert werden.

Gegen 7 Uhr hatte ich das bemerkt und zunächst den Eintrag für meine wichtigste Seite, die „Putzlowitscher Zeitung“, angepaßt. Im Laufe des Vormittags hatte sich dann auch fast alles wieder eingerenkt, die normalen Besucher und z.B. der Yahoo-Bot (gegen 8.30 Uhr) und der Bing-Bot (gegen 9.30 Uhr) kamen wieder auf die Seite.

Nur der Googlebot ließ sich nicht blicken. Erst am 6. Januar hat er gegen 2.30 Uhr wieder die Putzlowitsch-Seite besucht. Ungünstigerweise ist er außerdem noch in meine Bot-Falle getappt, denn auch die robots.txt war für ihn mehr als 24 Stunden nicht abrufbar. Somit gab es aus Sicht des Google-Bots keinerlei Zugriffsbeschränkungen.

Abgewertet, ersetzt und rausgeschmissen

Seit gestern verabschieden sich so langsam auch einige meiner Seiten, besonders Bilder, aus den Google-Suchergebnissen.

Dabei kann man drei unterschiedliche Ergebnisse sehen. Im einfachsten Fall werden die Bilder zunächst nur um ein paar Plätze im Ranking abgewertet. Je nach Position hat das auch die Verschiebung auf eine hintere Trefferseite zur Folge. Vermutlich ist das aber nur ein Zwischenschritt zum zweiten und dritten Fall.

Falls es eine identische Kopie oder das Bild in einer weiteren Version auf einer anderen Webseite gibt, wird nun die Kopie angezeigt, aber an einer schlechteren Trefferposition. So ist das z.B. bei der Kartoffel der Fall (siehe Screenshot). Mein Kartoffelbild lag in den letzten Wochen recht konstant auf Platz vier, die Kopie wurde nun an Position 8 einsortiert. Interessanterweise wird bei der Suche nach „Ähnlichen Bilder“ aber weiterhin meine Kartoffel angezeigt.

Im schlimmsten Fall sind Bilder ganz aus den Suchergebnissen verschwunden. So ist es z.B. den Kartoffeln, der Karotte und der Möhre ergangen.

Positiv denken

Etwas Gutes hat die Sache natürlich. So kann man mal sehen was passiert, wenn plötzlich gut rankende Bilder gesperrt werden und wo es eventuell noch andere Kopien der Bilder gibt. Der Witz ist, daß ich genau so etwas gerade als kleines Experiment in Angriff nehmen wollte, allerdings nicht in dieser Breite mit so vielen Bildern. :-)

Leider ist auch mein Bilder-SERPs-Überwachungstool noch nicht ganz fertig, so daß ich nun ständig „manuell“ nachgucken muß, was mit den Bildern passiert. Ich bin auch mal gespannt, wann sich alles wieder normalisiert. Dann könnte ich ja nochmal mit meinem eigentlichen Experiment durchstarten.

Googlebot (Bilder) – geteilte Arbeit ist halbe Arbeit

05.01.2011 16:34 von schnurpselchen in Bildersuche, Internet

Das Diagramm von Martin zum seinem Beitrag „Google indexiert neue Bilder rasant schnell“ zeigt stilisiert, wie sich „Googlebot-Image/1.0“ und „Googlebot/2.1“ die Arbeit beim Erfassen von Bildern teilen. Er schreibt dort:

„Die folgende Grafik zeigt keine konkreten Werte, sondern die Tendenz:“

Die Arbeitsteilung 2010

Nun hat mich natürlich interessiert, wie das Ganze mit echten Zahlen aussieht. Ich habe deshalb die Server-Logfiles der letzten 3 Jahre durchgeackert, ausgewertet und kann den vermuteten Trend auch bestätigen:

Googlebot - Erfassung von Bildern nach Wochen 2010

Die rote Linie zeigt das Maximum der Anzahl erfaßter Bilder pro Woche durch den Googlebot-Image und die blaue durch den normalen Googlebot. Zusätzlich sind alle Zugriffe (Bilder und alles andere) des normalen Googlebots als graue Linie dargestellt. Normalerweise lag der Image-Bot mehr oder weniger deutlich über dem Such-Bot, ab Mitte November fällt der Googlebot-Image teilweise deutlich zurück und liegt meist unter dem normalen Googlebot.

Mitte April 2010, konkret am 16., gab es allerdings eine kräftige Spitze des Googlebot/2.1, der nicht nur fast 400 Bilder erfaßt, sondern insgesamt knapp 2400 Zugriffe getätigt hatte. Er hat praktisch fast meine ganze Website komplett gescannt, warum auch immer. Und ja, es war der IP-Adresse nach tatsächlich der Google-Bot.

Die Daten beziehen sich auf die Putzlowitsch-Domain, meine Seite mit den meisten Bildern. Insofern zeigt das Diagramm auch nur einen Trend, bei anderen Seiten kann und wird das vermulich etwas anders aussehen.

Vielleicht kann ja mal jemand mit großen Bilderbeständen auch die Logfiles auswerten… :-)

Die Arbeitsteilung in den letzten drei Jahren

Googlebot - Erfassung von Bildern nach Monaten 2008- 2010

Noch bis Mitte 2008 hat sich der normale Google-Bot fast gar nicht um die Bilder gekümmert. Im August und September hat er dann dem Image-Bot hilfreich unter (bzw. über) die Arme gegriffen um sich dann mit nur kleineren Hilfeleistungen etwas bedeckt zu halten. Nur im April 2010 hatte er sich noch mal richtig ins Zeug gelegt.

Seit Juli 2010 hat der Googlebot/2.1 zumindest eine feste Aufgabe bei der Bildererfassung. Er ist für die Bilder aus Twitter-Meldungen zuständig, die seitdem bei den Statusupdates mit angezeigt werden. Die Bilder werden als kleines Vorschaubild oft bereits wenige Sekunden nach der Erfassung unter den Tweets bei Google-Echtzeit eingeblendet.

Geteilte Arbeit ist doppelte Freude

Das könnte für mich das Internet-Ding 2011 werden, wenn es denn so bleibt oder sogar noch besser wird:
Bilder in der Google-Bildersuche in fast Echtzeit.

Ein Kommentar »

Google Bildersuche – Bilder wieder aktueller

02.08.2010 18:36 von schnurpselchen in Bildersuche, Internet

Seit einigen Tagen gibt es endlich wieder neue Bilder in der Google-Bildersuche. Da ich am letzten Donnerstag und Freitag unterwegs war, habe ich es nicht sofort mitbekommen, wie sonst eigentlich üblich. :-)

Nachdem ein größere Zahl Bilder vom Juni bis Anfang Juli nachgelegt wurden, kamen nu heute bereits Bilder von Mitte Juli dazu.

Richtige Bilder gibt es jetzt vom meinem Artikel „Fußball-WM, Ferien und fürchterliche Hitze“ (14.07.2010) und immerhin ein kleines Vorschaubild von „Transpiration und Inspiration“ (16.07.2010). Damit ist das aktuellste Bild nur noch etwas mehr als zwei Wochen alt.

Es scheint so, als wolle und könne Google den Rückstand bei der Bildersuche aufholen und sich wieder in Richtung „Bilder-Latenzeit“ von etwa zwei Wochen bewegen, so wie es im zweiten Halbjahr 2009 schon mal war.

5 Kommentare »