Das Putzlowitsch Test- und SEO-Blog
Stichwort: Bot

Gewinner und Verlierer in der Bildersuche KW 18/2013

Aufsteiger

Bidox: bild10.com 18. KW 2013

Es hatte sich bereits in den letzten Wochen abgezeichnet, die Bildkopie-Galerie bild10.com steigt nun in die Bidox-Top-100 ein. Mit einem bidox von 25,8 und fast 600 Bildern schafft es die Domain auf Platz 81.

Das Rezept für diesen Erfolg ist immer noch recht einfach. Man kopiert einfach Bilder, die in der Bildersuche gut platziert sind, auf die eigene Seite und strickt ein paar automatische generierte Seiten drum herum. Martin Mißfeldt hatte das Problem auch kürzlich wieder in seinem TagSeoBlog thematisiert.

Der Aufstieg wird jetzt noch ein paar Woche so weiter gehen, bis Google eventuell doch mal etwas merkt. Allerdings nicht von alleine, sondern bestenfalls dann, wenn vielleicht ein Google-Mitarbeiter zufällig diesen Text hier liest oder jemand die Seite als Spam meldet.

Absteiger

Bidox: Idealo.de 18. KW 2013

Auch nicht erst seit letzter Woche ging es für den Preisvergleicher idealo.de bergab. Mit einem bidox von 31 und knapp 2500 Bildern lag man vor fünf Wochen noch auf Platz 63. Jetzt ist Idealo mit nur noch 48 Bildern und einem bidox von 0,8 praktisch in der Bedeutungslosigkeit (Platz 4050) versunken.

Über die Gründe für so deutliche Einbrüche im bidox kann man oft nur spekulieren. Abstrafung durch Google, technische Probleme, Änderungen an der Seitenstruktur oder der Konfiguration?

Bei Idealo sind die Probleme tatsächlich hausgemacht, wie eine kurze „Untersuchung“ ergab. Die Bilder und andere Dateien (z.B. JavaScript) sind auf ein CDN cdn.idealo.com ausgelagert. Dort gibt es auch eine robots.txt Datei, die wie folgt aussieht:

User-Agent: *
Disallow: /
Allow: /*produktbild_gross*

Eine durchaus sinnvolle Konfiguration, allen Bots alles zu verbieten und nur die großen Produktbilder zur Indexierung frei zu geben.

Allerdings heißen die großen Bilder seit einiger Zeit nicht mehr *produktbild_gross*, sondern *produktbild_max*. Deshalb werden die so umbenannten oder neuen Produktbilder von den Bots korrekterweise ignoriert.

Das Problem ist mit einer Anpassung der robots.txt leicht zu beheben. Scheinbar sind aber die Besucherzahlen über die Bildersuche bei Idealo nicht wirklich signifikant und so hat es wohl dort noch niemand bemerkt.

Auf und Ab

Nicht immer sind die Gründe für das Auf und Ab einer Domain im bidox so einfach zu erklären, wie in den obigen Beispielen. Auf jeden Fall sollte man aber bei Änderungen an der Seitenstruktur auch immer eine Blick in die beteiligten robots.txt-Dateien werfen, um eventuelle, so nicht beabsichtigte Effekte zu vermeiden.

6 Kommentare »

Google und die Textlinks sind keine Freunde

Links die keine sind

Mittlerweile habe ich mich fast schon daran gewöhnt, daß Google alles was auch nur annähernd nach URL aussieht, wie einen Link behandelt und entsprechend den Crawler darauf losläßt. Selbst unsinnige URLs mit drei Punkten in der Mitte oder am Ende werden verfolgt. Alle diese erfundenen URLs werden dann natürlich als Fehler in den Webmastertools gemeldet, denn der Webserver liefert einen „404 Not found“ zurück.

Nun bin ich kürzlich mal wieder so einer von Google ausgedachten URL nachgegangen. Meist kann man in den Webmastertools auch die Quelle des „Links“ sehen.

Das ist wieder so eine abgeschnittene URL, normalerweise geht es um diesen Artikel. Allerdings fehlen da die drei kleinen Punkte am Ende, mal sehen, was dort auf der „verlinkenden“ Seite verzapft wurde.

Quelle des fehlerhaften "Links"

Einen richtigen Link zu meinem Artikel gibt es dort erwartungsgemäß nicht, aber zumindest ist die URL selbst textlich korrekt und unverkürzt dargestellt. Allerdings sind die Suchwörter, für die meine Artikel dort auf der Seite erscheint, hervorgehoben.

HTML als Stolperfalle

Im Quelltext der Seite sieht das dann so aus:

HTML-Text der URL

Zur Hervorhebung sind die Keywords mit dem HTML-Tag b als fett ausgezeichnet. Ich hätte ja nun irgendwie erwartet, daß Google mit HTML-Tags umgehen kann. Erstaunlicherweise hat nicht das erste HTML-Tag die URL-Raterunde beendet, sonder erst das zweite, schließenden Tag. Der Google-Link endet hinter …datenbank:
/sicher-ist-sicher-datenbank

Ich kann es gerne nochmal wiederholen. Wie auch die Erkennung der drei Punkte in den unsinnigen URLs würde das Entfernen der HTML-Tags wohl jeder mittelmäßige Programmierer hinbekommen. :-)
Ich hätte gedacht, daß Google bei der richtigen Interpretation von HTML etwas weiter ist.

Es ist ein Fehler

Selbst wenn ich die Verfolgung von mit drei Punkten verkürzten Textlinks für unsinnig und falsch halte, habe ich mich damit zumindest abgefunden. Aber nicht existierende URLs zu crawlen, die durch mangelhafte Interpretation von HTML entstehen, steht einem Weltkonzern wie Google schlecht zu Gesicht. Das sind aus meiner Sicht einfach nur Fehler.

Fehler sind ja auch dazu da, daß sie behoben werden können. Ich will mal hoffen, Google schafft das und kann sich dann wieder den echten Links und anderen Problemen zuwenden.

3 Kommentare »

Interessante neue Taktik der WordPress-Login-Bots

Das immer mal wieder irgendwelche Bots bei meinen Blogs vorbeischauen und versuchen, das Admin-Paßwort zu knacken, ist schon fast zur Normalität geworden.

Bisher wurde da bei immer stur eine fertige Liste in Höchstgeschwindigkeit durchgerattert.

Heute ist mir eine neue Taktik aufgefallen, die einiges versucht besser zu machen. Die probierten Passwörter (bei putzlowitsch.de) sehen nun so aus (kleiner Ausschnitt):

obsttellers, nachbearbeitet, chinesischen, eren, heidelbeeren, buch, gamma, eintrag, utzlow, unten, lich, jahr, synchronschwimmerinnen, wann, sommersonnenweden, hingegen, etwa, sternschnuppen, filmprojektor, witsch, hoffe, improvisiert, fehlt, damit, mittlerweile, praktisch, augustobwohl, utzlowit, blaue, bildern, tzlowi, gute, hinzugef, gepa, kanuslalom, nzen, lecker, ganze, erwischt, siehe, berschritten, aktuelles, flugbahn, hren, versuche, owit, bildbearbeitung, hand, bereich, halt, bringt, wirklich, marathon, dieser, einfach, zusammen, letzten

Irgendwie kamen mir die Sachen bekannt vor. Und richtig, es sind Wörter, die auf meiner Seite vorkommen.

Obstteller, Heidelbeeren, Sommersonnenwende, Sternschnuppen – alles Begriffe, die in meinen Blogartikeln auftauchnen. Es gibt auch ein paar selsame Wörter wie z.B. berschritten, hinzugef oder nzen. Da scheint der Bot nicht mit den Umlauten zurechtzukommen, denn das soll wohl überschritten, hinzugefügt bzw. Münzen heißen.

Auch interessant ist die Variation bzw. Zerlegung von Putzlowitsch, die in diesen Wortfetzen zu finden ist: utzlow, witsch, utzlowit, tzlowi, omit.
Der Bot hält wahrscheinlich den Seitentitel bzw. die h1-Überschrift oder den in jedem Beitrag auftauchenden Autornamen für besonders relevant und erfolgversprechend.

Nun werden also Inhalte des Blogs selbst als Passwörter probiert und variiert. Und, auch das ist neu, zwischen den Versuchen werden mehrere Minuten Pause eingelegt. Somit geht der Bot möglichen Abwehrmaßnahmen aus dem Weg, die nach einer Anzahl von Fehlversuchen in einem kurzen Zeitraum weitere Versuche blockieren.

Eine neue Qualität bei den Passwort-Krack-Versuchen, würde ich sagen.

Meine Empfehlung daher: Als Passwort nie etwas verwenden, das irgendwie auf der Seite steht bzw. anders herum, das Passwort niemals in einem Artikel auf der Seite veröffentlichen.

6 Kommentare »

Google crawlt andere Suchmaschinen?

Google crawlt Yahoo?

Fehlermeldung aus den Google Webmastertools:

„Der Googlebot konnte diese URL nicht crawlen, da keine zugehörige Seite existiert. Im Allgemeinen wirken sich 404-Codes nicht auf die Leistung Ihrer Website bei der Suche aus. Sie können sie jedoch zur Verbesserung der Nutzererfahrung verwenden.“

Zum einen ist das wieder mal kein Link, sondern nur eine verkürzte, textliche Darstellung. Ein Nutzer wird diesen „Link“ deshalb nie aufrufen, also muß ich auch nichts für die „Verbesserung der Nutzererfahrung“ tun. Der Link ist nur eine Google-Erfindung.

Viel interessanter ist meiner Meinung nach die angegebene Quelle des Links. Das sieht mir nach einer Suchergebnisseite der Yahoo-Bildersuche aus.

Ich dachte bisher immer, Google würde die Suchergebnisse der anderen großen Suchmaschinen nicht crawlen. Aber vielleicht ist es auch gar nicht so oder es war nur früher mal so oder ich bin einem Irrtum aufgesessen.

3 Kommentare »

Aprilscherz? Ich hätte Google für intelligenter gehalten.

Google auf Abwegen

Vor knapp einem halben Jahr hatte ich bereits berichtet, daß Google Links folgt, die gar keine sind. Irgendwer schrieb da auch in den Kommentaren, daß es vielleicht nur ein Test sein könnte. Gut möglich, Google probiert ja gerne mal Sachen aus. Ich erinnere mich noch an die ausgefüllten Suchformulare (/?s=suchbegriff) vor etwa vier Jahren. Das hatte sich dann irgendwann erledigt.

Die als URL interpretierten Texte landen aber weiterhin in den Google Webmastertools und natürlich auch in meinen Server-Logdateien. Das sind die neuen 404-Fehler vom 1. April:

Google-Webmastertools: Error-404 vom 1.April

Und so sehen die „verlinkenden“ Seiten aus:

• webstatsdomain.com zur Domain „schnurpsel.de“

Google: Das ist kein Link (1)

• pixitree.de mit „Installation Eigenen Domains WordPress“

Google: Das ist kein Link (2)

• news.blogtotal.de mit „Modrewrite Ohne WordPress“

Google: Das ist kein Link (3)

• link-fuchs.de mit „Aktuelle Ip Per Email Zu Verschicken Besonders“

Google: Das ist kein Link (4)

• alllaws.org mit „Mit Bing Finden“

Google: Das ist kein Link (5)

Mal davon abgesehen, daß die „verlinkenden“ Seiten fast allesamt als Suchmaschine getarnte Spam-Seiten sind, gibt es die von Google dort angeblichen gefundenen Links nicht. Das sind durchweg verkürzte, textliche Darstellungen von URLs, die mit drei Punkten enden.

So schwer ist das doch nicht

Nun weiß ich zwar nicht, wie Google diese Pseudolinks aus den Seiten extrahiert, aber jeder mittelmäßige Programmierer dürfte dazu in der Lage sein, die mit drei Punkten endenden, vermeintlichen Links im Algorithmus auszusortieren. Wenn das, was wie eine URL aussieht, mit endet, ist es niemals nicht eine existierende URL, sondern nur eine verkürzte Darstellung einer solchen. Dann muß auch nicht der Google-Bot losgeschickt werden, um sich doch nur einen Error 404 Not Found abzuholen. Letztendlich hat das dann auch nichts bei den Crawling-Fehlern in den Webmastertools verloren.

Google, bitte nachbessern!

Google search quality highlights

Google veröffentlicht seit einiger Zeit (Dezember 2011?) Neuigkeiten aus dem Bereich „Verbesserung der Suchqualität“. Vielleicht habe ich da was übersehen, aber zur Erkennung von nicht existierenden Links war mir bisher nichts aufgefallen. Zumindest besteht da Verbesserungsbedarf.

Die Lösung des Problems wäre mein nächstes, ganz persönliches „Search quality highlight“. :-)

5 Kommentare »

robots.txt im Google-Index, sind die Jecken wieder los?

robots.txt als Google Suchergebnis

Es ist ja ganz interessant, bei Google ab und zu nach der eigenen Domain zu suchen. Da gibt es z.B. allerlei lustige Bewertungsseiten, die tolle Zahlen für die Domain ausrechnen.

Etwas überrascht war ich heute, schnurpsel.de in einer robots.txt als Suchergebnis zu finden.

Einerseits, wieso nimmt Google überhaupt eine robots.txt als Treffer in die Suchergebnisse aus? Ich meine, das ist doch eine Steuerungsdatei für Bots und nichts für den normalen Nutzer.

Andererseits, wieso steht da meine Seite in der robots.txt von SeoBunny? Gut, SeoBunny ist in manchen Dingen etwas eigen, aber was soll schnurpsel.de (und auch tagseoblog.de) in der robots.txt-Datei?

Naja, könnte vielleicht am Beginn der närrischen Zeit liegen.

Mein Webhoster hat mir gerade ein Angebot mit dem Betreff geschickt:
Jecke Domainpreisen – 50% Rabatt

Sehr geehrte Kunden,

seit heute sind wieder die Jecken los. Als Hoster mit Sitz in der Karnevalshochburg Köln feiern wir die fünfte Jahreszeit mit sagenhaften Karnevalsrabatten. Profitieren Sie jetzt von 50 % Rabatt auf drei verschiedene DE-Domainendungen. …

Na dann ist ja alles klar. :-)

1 Kommentar »

Warum folgt Google URLs, die gar keine Links sind?

404 Not found

Google Webmastertools - Crawl Error 404

In den Google-Webmastertools sehe ich mir hin und wieder unter „Diagnostics – Crawl Errors“ an, welche Probleme und Fehler der Googlebot beim Crawlen meiner Seiten gefunden hat. In letzter Zeit sind da für putzlowitsch.de einige „404 Not found“-Fehler dazu gekommen.

Nun wollte ich wissen, wer denn da mit falschen URLs auf meine Seiten verlinkt. Ganz neu ist das für mich nicht. So etwas passiert z.B., wenn jemand nur die verkürzte Darstellung eines Links und nicht die URL selbst von einer anderen Webseite kopiert und dann als Link verwendet.

Unter „Linked from“ habe ich mir also ein paar dieser „Bösewichte“ angesehen und war überrascht, das ich die von Google beanstandeten URLs dort gar nicht finden konnte. Zumindest sind sie auf den Seiten nicht als Link vorhanden, wohl aber als einfacher Text. Hier ein paar Beispiele als Screenshot:

Google auf Abwegen

Bei allen diesen Seiten ist der Linktext korrekt verlink (1) oder es ist gar kein Link vorhanden (2, 3 und 4). Die Sichbare URL ist für die Darstellung verkürzt. Genau diesen nur als Text vorhandenen, verkürzten URLs geht Google wie einem normalen Link nach und produziert somit selbst die 404er Fehler.

Ein weiteres Beispiel kommt von schnurpsel.de, die letzten beiden URLs in obigen Screenshot. In einem Artikel hatte ich etwas zum Google-URL-Redirector geschrieben und prompt versucht Google meinen symbolischen Beispielen zu folgen. Die dort auch nur als Text vorhandenen „URLs“ sind und waren nie verlinkt.

Link oder nicht Link

Meiner Meinung nach geht Google hier zu weit. Ich kann ja verstehen, daß Google möglichst alle Informationen erfassen will und allen Links folgt, aber ein Text ist nun mal kein Link, auch wenn er wie eine URL aussieht. Google tut sich damit selbst keinen Gefallen, denn es werden Ressourcen verschwendet und zudem wird die Anzeige in den Webmastertools mit wertlosen Informationen zugemüllt.

Ich finde diesen Diagnostic-Bereich in den Google-WMT ja wirklich gut und nützlich, hilft er mir doch dabei, mögliche Fehlerquellen auf meiner Website aufzuspüren. Wenn nun aber jede Menge Pseudo-Fehler angezeigt werden, geht die Übersicht verloren und ich übersehe vielleicht die echten Fehler.

Einfluß auf das Ranking?

Da es nicht nur fehlerhafte, weil verkürzte Text-URLs gibt, sondern vermutlich auf viele korrekte Links, stellt sich natürlich die Frage, ob sich das rankingtechnisch auswirkt. Kann über eine nur als Text notierte URL PageRank weitergegeben werden? Verwendet Google diese Texte nur als Link-Quelle für den Crawler? Wie wirken sich die vielen Fehler durch die Pseudo-Links auf die „verlinkte“ Seite aus?

Viele Fragen, auf die ich keine Antwort weiß.

6 Kommentare »