robots.txt – Oft erscheinen Seiten die auf “disallowed in robots.txt” gesetzt sind trotzdem in den Google Such Resultaten. Im folgenden robots.txt Video erklärt Matt Cutts (Google Search Qualtitätsbeauftrager) warum das passiert.
Folge Matt on Twitter >@mattcutts.

1. “disallowed in robots.txt