Como saber si una IP pertenece a Google

Aveces permitimos el trafico de los Hostname o UserAgent de Googlebots  para que estos indexen nuestra web pero muchas veces esas IP no son ni si quiera de Google porque muchas personas se aprovechan de que permitimos la entrada esos Hostname para ponérselos y hacer creer a nuestro servidor que son de IPs de Google. Así que voy a enseñar como verificar si esa IP es de verdad un Googlebot o una IP de Google.

Para comprobarlo podemos usar cualquier herramienta de DNS como nslookup, host, dig, etc.

Suponiendo que la IP a comprobar sea 66.249.66.3

Nota: voy a usar las DNS de google para comprobarlo, pero puedes usar las tuyas locales, las de Cloudflare o cualquier otro.

nslookup 66.249.66.3 8.8.8.8

Servidor:  dns.google
Address:  8.8.8.8

Nombre:  crawl-66-249-66-3.googlebot.com
Address:  66.249.66.3

Esto nos devuelve el Hostname "crawl-66-249-66-3.googlebot.com" que tendremos que verificar con el mismo método y ver que ambas IP coincidan.

nslookup crawl-66-249-66-3.googlebot.com 8.8.8.8

Servidor:  dns.google
Address:  8.8.8.8

Respuesta no autoritativa:
Nombre:  crawl-66-249-66-3.googlebot.com
Address:  66.249.66.3

Como se puede ver la IP "66.249.66.3" es la misma que resuelve el Hostname con la que se muestra esa IP por lo que la IP si pertenece a google (en este caso a googlebot)

Ten en cuenta:

• Los Hostname de Google suelen terminar en "google.com" o "googlebot.com" .
• Google suele comenzar los Hostnames con el tipo de servicio que ofrecen "crawl" seria para los robots de googlebot entre otros ( google-proxy , rate-limited-proxy, etc)

Términos de Búsqueda:

• Verificar que se trata del robot de Google
• saber si es una IP es un google robot o googlebot