En el codigo fuente de tu web puedes poner la etiqueta META con Atributos para darle informacion a los Robots sobre el indexado, puedes ponerlas de esta forma para todos los robots ( o Spiders) que lo soporten:

<meta name="robots" content="noodp,noydir"/>

o bien especificar para cada robot un atributo distinto de esta forma:

<meta name="googlebot" content="noindex" /> (Google)
<meta name="msnbot" content="noarchive" />  (Bing)
<meta name="slurp" content="nofollow" />  (Yahoo)

Atributos:

• index : Permite al buscador que indexe esa página (opción por defecto).
• noindex : NO permite a los buscadores que indexen esa página.
• follow : Le dice al buscador que puede seguir rastreando los enlaces que encuentre en la página (opción por defecto).
• nofollow : Le dice al buscador que NO siga rastreando los enlaces que encuentre en la página
• none : Es una abreviatura de noindex + nofollow.
• noarchive : No permite a los buscadores que guarden la página en caché
• nosnippet : No permite a los buscadores que muestren un fragmento de texto de la web en sus resultados de búsqueda, y tampoco deja que la guarde en caché.
• noodp : No permite a los buscdores que utilicen la descripción oficial de la página que hay en DMOZ (wikipedia) en sus resultados de búsqueda. En caso que no esté registrada en DMOZ (web oficial), no tiene utilidad.
• noydir : No permite a Yahoo! que utilice la descripción oficial de la página que hay en el directorio Yahoo en sus resultados de búsqueda. En caso que no esté registrada en tal directorio, no tiene utilidad.

Fuente: www.forobeta.com :) (solo una parte ehhh)

Terminos de Busqueda:

• NOODP forobeta
• Buscador Slurp
• meta name robots content noindex nofollow noarchive noodp nosnippet
• nosnippet