Der Robots Exclusion Standard definiert einen Standard, an den sich Suchmaschinen wie Google, nicht aber Adresssammler (eh klar), halten. In der sogenannten Robots.txt wird hinterlegt, was der Crawler des Suchmaschinenbetreibers sich ansehen darf und was nicht.

Den einztigen Vorteil bei Einsatz so einer Robots.txt seh ich in der reduzierten Serverlast, wenn die Crawler einen deutlichen Anteil des Traffics verursachen - ich glaube, das ist hier nicht der Fall ;)