URLextractor: recopilación de información y reconocimiento de sitios web

URL extractor

caracteristicas:

• Información de IP y hosting como ciudad y país (usando  FreegeoIP))
• Servidores DNS (utilizando  dig)
• ASN, rango de red, nombre de ISP (usando  RISwhois)
• Prueba de equilibrador de carga
• Whois para abuso de correo (utilizando  Spamcop)
• Archivo PAC (Proxy Auto Configuration)
• Compara hashes a código de diferencia
• robots.txt (buscando recursivamente cosas ocultas)
• Código fuente (buscando contraseñas y usuarios)
• Enlaces externos (marcos de otros sitios web)
• Directorio FUZZ (como Dirbuster y Wfuzz - utilizando  Dirbuster) lista de directorios)
• URLvoid API: verifica el rango de la página de Google, el rango de Alexa y posibles listas negras
• Proporciona enlaces útiles en otros sitios web para correlacionar con IP / ASN
• Opción para abrir TODOS los resultados en un navegador al final

Instalar

Requisito:

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

Descargar

git clone https://github.com/eschultze/URLextractor.git

Utilizar

Archivo de configuración:

CURL_TIMEOUT=15 #timeout in --connect-timeout
CURL_UA=Mozilla #user-agent (keep it simple)
INTERNAL=NO #YES OR NO (show internal network info)
URLVOID_KEY=your_API_key #using API from http://www.urlvoid.com/
FUZZ_LIMIT=10 #how many lines it will read from fuzz file
OPEN_TARGET_URLS=NO #open found URLs at the end of script
OPEN_EXTERNAL_LINKS=NO #open external links (frames) at the end of script
FIRST_TIME=YES #if first time check for dependecies

Correr:

./extractor http://www.hackthissite.org/

Consejos:

• Colorex: ponga colores a la salida  pip instale colorex  y utilícelo como  ./extractor http://www.hackthissite.org/ | colorex -g “INFO” -r “ALERTA”
• Tldextract: es usado por la función dnsenumeration  pip install tldextract

Copyright (c) 2016 eschultze

Fuente:  https://github.com/eschultze/