Adult Webmaster Blog
Blog von AWM-Resource - Themen wie SEO, Payment, Content, Programmierung, Jugendschutz und Marketing
Google respektiert meine robots.txt nicht mehr
Der Beitrag wurde am 6. Februar 2007 von Oliver veröffentlichtGoogle ist schon ein eigensinniges Biest! Da habe ich damals extra bei einer Domain ein Pop-up, das nur unnötigen Duplicate Content produzieren würde, in der robots.txt mit “Disallow: popup_pic.php” für die lieben Googlebots gesperrt. Natürlich habe ich das sowohl mit “User-agent: *”, als auch mit “User-agent: googlebot” getan. Doppelt hält ja für gewöhnlich und im speziellen bei Google besser. Pustekuchen. Trotzdem macht sich Google jetzt ans Werk und indexiert diese ganzen Pop-ups. Hunderte! Das Problem, was sich jetzt daraus ergeben hat: Die Pop-ups sind besser gelistet als die dazugehörige Seite, von der aus das Pop-up ja lediglich zur Bildvergrößerung geöffnet wird. Anstatt den Fehler einzusehen und die Seiten wieder aus dem Index zu blasen, aktualisiert sie der Bot jetzt auch noch täglich! Manchmal - und ganz besonders heute - verstehe ich Google gar nicht mehr.
Soziales: del.icio.us | Mister Wong | yigg.de | digg.com
Verwandte Themen:
Noch keine Kommentare »
RSS-Feed für Kommentare zu diesem Beitrag. TrackBack URI


