Adult Webmaster Blog

Die Problematik mit Microsofts Referrer-Spam ist ja nun schon seit einiger Zeit bekannt. Ich dachte, dass sich das irgendwann einmal wieder legen wird, wurde aber mittlerweile eines Besseren belehrt. Die Zugriffe des spammigen Microsoft-Bots haben mittlerweile sogar noch deutlich zugenommen. Auf vielen Websites habe ich den Live-Bot daher schon seit langer Zeit komplett gesperrt. Wie Sistrix ganz richtig schreibt, handelt es sich dabei um eine Cloaking-Prüfung, die zwar sinnvoll ist, um Cloaking auf die Schliche zu kommen, dafür jedoch die Logs komplett wertlos werden lässt. So wunderte ich mich anfangs auch noch, dass ich mit einem Mal so viele Zugriffe über MSN und Live.com habe. Ein Blick auf die verweisende Suchergebnisseite zeigte jedoch, dass ich zu dem Keyword überhaupt gar nicht gelistet wurde. Am vergangenen Wochenende erreichte das jedoch eine ganz neue Qualität und ich schaltete mal ein kleines Script auf ein Projekt auf, das unmittelbar nach einem Zugriff über MSN / Live.com checkt, ob die Site auch tatsächlich zu dem Key gelistet ist. Das Resultat: Alleine am Samstag kamen auf dem Projekt 1534 Zugriffe zusammen, zu deren Referer das Projekt gar nicht gelistet ist. Heute habe ich den Live-/MSN-Bot flächendeckend gesperrt.

Laut dem Artikel von Sistrix scheint Google mittlerweile ein ähnliches Prinzip einzusetzen. Zuerst kommt ein Zugriff durch den Bot, dann unmittelbar danach ein Zugriff durch einen User mit Google-IP. Google vergleicht dann wohl beide Seiten und kann so Cloaking erkennen. Ich hoffe nicht, dass sich Yahoo auch noch anschließt. Würden da zwei bis drei Zugriffe pro Tag verursacht, würde mich das auch gar nicht weiter stören. Was der Live-/MSN-Bot da treibt, ist und bleibt für mich übelster Referer-Spam.