Adult Webmaster Blog

Ich habe gerade einen ganz interessanten Artikel bei Search Engine Roundtable von der Search Engine Strategies 2005 in Chicago gelesen. Hier nehmen Ramez Naam (MSN Search), Kaushal Kurapati (Ask Jeeves), Tim Mayer (Yahoo! Search) und Charles Martin (Google) Stellung zum Thema: „Was Crawler mögen und was nicht”, natürlich immer auf das eigene Unternehmen bezogen. Ich habe das mal in Stichpunkten übersetzt, auch wenn es sich hauptsächlich um Basics dreht.

Ramez Naam (MSN Search):
- Um Seite in den Index zu bekommen, Link von bereits indexierter Seite setzen.
- Organische Links (mit Beschreibungen, die auch Menschen klicken würden).
- Die Seiten sollten entsprechend mit den Unterseiten verlinkt sein.
- URLs lesbar halten (keine Session-IDs oder zu viele Parameter).
- Der Crawler kann 301er und 302er Weiterleitung unterscheiden.
- Content sollte von hoher Qualität und einzigartig sein.
- Man sollte Seiten nicht auf Javascript aufbauen.
- Zu den wichtigsten Seiten eines Webs linken.
- Keine Black-Hat Methoden anwenden.
- Crawler beachtet die robots.txt.

Tim Mayer (Yahoo! Search):
- Um Seite in den Index zu bekommen, Link von bereits indexierter Seite setzen.
- Wichtig sind einzigartiger Content, Title, Meta Tags und verschiedene Seiten.
- Keyword Stuffing, versteckter Text oder Links und Doorways = negativ.
- Links von Autoritäten verhelfen schnell zu einem Deep-Crawl des Webs.
- Yahoo hat diverse Crawler (für jeden einzelnen Service eigene).
- Die Tiefe des Webs sollte 3-4 Ebenen nicht überschreiten.
- Die Seiten sollten Inbound-Links haben.

Charles Martin (Google):
- Aktualität und Reichhaltigkeit an Content = vermehrte Besuche des Bots.
- Informationen zum entfernen von Seiten unter webmasters/remove.html.
- Wenn der Googlebot zu viel Bandbreite in Anspruch nimmt = 304 senden.
- Wenn die Seite umzieht, 301er Redirect benutzen.
- Google aussperren = robots.txt verwenden.