No follow Google.

¿No quieres que google te meta en su busqueda por alguna razón?

Por carpeta o archivo

User-Agent: Googlebot

Disallow: /no-lo-indexes.html

Disallow: /carpeta-no-indexable/

Disallow: /*/subcarpeta-no-indexable/


Diferentes spiders

Google: Googlebot

Yahoo: yahoo_slurp

MSN: msnbot

Altavista: Scooter


Lycos: Lycos_Spider_(T-Rex)


User-Agent: *

Disallow: /*/primavera/

Disallow: /*?

Disallow: /*.gif$

Disallow: /*userid=


Disallow: /*/*id=


Nofollow y Noindex para vínculos.

<a href="www.googlecom rel="nofollow">No lo sigas!!</a>

<a href="entrecodigos.com/noindex/" rel="noindex">No lo indexes!!</a>


Cerrar completamente web a los bots.

User-Agent:*

Disallow: /​


 robots.txt