En el codigo fuente de tu web puedes poner la etiqueta META con Atributos para
darle informacion a los Robots sobre el indexado, puedes ponerlas de esta forma
para todos los robots ( o Spiders) que lo soporten:
<meta name="robots" content="noodp,noydir"/>
o