Programa usado por los motores de búsqueda que rastrea la red y busca sitios web para indexarlos y facilitar su búsqueda por palabras clave. Los motores de búsqueda envían arañas para visitar un sitio y recolectar páginas web. Cuando una araña visita un sitio web hace una de dos cosas:
- Busca el archivo robots.txt y la meta etiqueta robots para ver las “reglas” que se han establecido.
- Comienza a crear un índice de las páginas web que hay en el sitio
Analizará y procesará la información de acuerdo al algoritmo diseñado por su propietario. Dependiendo del motor de búsqueda, la información es indexada y enviada a la base de datos del motor de búsqueda.