Google und die Robots.txt

Ich habe ein neues Wordpress aufgesetzt und am Anfang das Häkchen auf ‘Ich möchte Suchmaschinen blockieren aber normale Besucher zulassen’ gesetzt. Wordpress setzt dann eine entsprechende robots.txt. Irgendwann habe ich angefangen Beiträge einzupflegen und vergessen das Häkchen wieder zu entfernen…

Beim überprüfen meiner Keywords auf Google stellte ich fest das meine Seite sehr gut für einen Begriff gerankt ist. Aber ohne Snippet, ohne Text. Und mit einem falschem Title.

Im Webmastertool hab ich dann gesehen das Google nicht auf die Seite darf und hab mich daran erinnert das ich damals diese Einstellung in Wordpress gemacht habe. Aber warum rankt mich Google wenn sie auf der anderen Seite behaupten sie hätten keinen Zugriff auf meine Seite…

Das Phänomen das Social News Communitys mit den eingetragenen Beiträgen manchmal höher ranken als der Beitrag selbst ist ja nichts Neues. In dem oben beschriebenen Fall ist es allerdings so, das Google meine URL in den Serps verlinkt, verknüpft mit einem Title den sie aus einer Social News Community haben. Und dann korrekterweise kein Snippet anzeigen, weil sie ja ‘eigentlich’ gar nicht auf die Seite schauen können wie’s es eben in der robotx.txt angegeben ist.

In Kurzform heißt das ganze: Google findet meinen Artikel über einen Backlink. Google sieht dass der Text meiner Seite nicht indexierert werden ‘darf’, hält sich auch daran und rankt meine URL anstatt dessen mit den Information einer anderen Seite. Das war mir bis dato noch nicht bekannt.