Be nice to the engine
20. Dezember 2007Es wird immer wieder darüber diskutiert, warum man bestimmte Seiten von der Suchmaschienen-Indexierung ausnehmen sollte. Meist geht es hier um Linkjuice und Duplicate Content. An die armen Suchmaschienen denkt dabei kaum jemand.
Ja, richtig gelesen, arme Suchmaschienen. Selbst einem Crawl-Monster wie Google stehen nicht unendlich viele Resourcen zur Verfügung und die wollen sinnvoll eingesetzt und auf alle zu crawlenden Websites verteilt werden. In der Praxis heißt dies, sinnbildlich gesprochen, das der Crawler bei einem Durchlauf von seiner Steuersoftware nicht den Auftrag bekommt, die ganze Site durchzugehen, sondern nur beispielsweise die nächsten zehn Seiten.
Zeit ist also hier der entscheidende Faktor. Wenn bei jedem Spider Besuch das Impressum aufgrund seiner guten Verlinkung drei mal durchstöbert wird, bleiben für die sinnvollen Inhalte nur noch sieben Lesevorgänge übrig, der Rest muss warten. Im Ergebnis werden neue Inhalte später erfasst und ältere seltener besucht.
Was ist wichtig, was nicht?
Prinzipiell gelten erst einmal die gleichen Überlegungen wie beim DC-Problem: doppeltes muss raus. Im Kern dürften das Feeds und Druckansichten sein. Auch das Impressum und diverse Kontakt-, Über uns-, oder AGB-Seiten dürften für den Suchmaschienen-Traffic kaum relevant sein.
Wie aber siehts beim Content selber aus? Sicherlich bekommt der eine oder andere das kalte Grausen bei dem Gedanken seine Content-Seiten mit einen “NoIndex” zu versehen, aber auch das kann durchaus Sinn machen.
Nebenprodukte:
Dinge die normalerweise unmittelbar mit einem Hauptprodukt zusammen bestellt werden müssen nicht eigenständig in den SuMas gelistet werden. Batterien oder Steckernetzteile sind hier gute Beispiele.
Tote Eingangsseiten:
Auf jeder Website finden sich Unterseiten die entweder überhaupt keinen Suchmaschinen-Traffic abbekommen, oder nur für den Seitenzweck irrelevanten. Diese Seiten können nach einer ordentlichen Taffic-Analyse durchaus gefahrlos aus dem Index ausgeschlossen werden.
Ganz nebenbei bekommt man mit solchen Maßnahmen nicht nur ein schnelleres und zielgerichteres Spidern seiner Seiten, sondern auch ein besseres internes und vielfach auch externes Ranking zu den entspechenden Keywords.




















