Directamente de Google:
Las metaetiquetas son una excelente manera para que los webmasters proporcionen a los motores de búsqueda información sobre sus sitios. Las metaetiquetas se pueden utilizar para proporcionar información a todo tipo de clientes, y cada sistema procesa solo las metaetiquetas que comprende e ignora el resto.
Si desea bloquear totalmente todos los motores de búsqueda:
¿Por qué?
Quizás sea una URL algo privada en su sitio, pero no está protegida de tal manera que un robot de búsqueda no pueda verla. Por ejemplo, si una página requiere iniciar sesión para verla, de todos modos está bloqueada por un robot de búsqueda. Pero si es solo una URL ofuscada, quién sabe cómo se mueven los robots de búsqueda, por lo que es posible que desee evitar la indexación.
Los resultados de búsqueda son otro común. Es extraño que un resultado de búsqueda sea resultados de búsqueda, tal vez. Los temas de WordPress tienden a incluir esto:
Podría modificar eso un poco y decirle a los bots, oye, puedes seguir los enlaces aquí para ayudar a continuar indexando el sitio, pero no indexes esta página específicamente.
Otros
Los motores de búsqueda tienden a usar la etiqueta de descripción para el contenido de texto junto a :
Consulte la página de Google para ver otras específicas de Google, como la capacidad de detener elementos de la interfaz de usuario específicos de Google, como su "cuadro de búsqueda de enlaces de sitios".