Les termes crawler, spiders et robots, se rapportent tous à un logiciel d’indexation qui est conçu pour passer en revue des sites Web et pour télécharger l’information contenue dans ces sites.

L’information qu’il télécharge est le code source HTML.
Dans le cas des moteurs de recherche, ce code source est stocké dans une grande base de données et plus tard analysé et classé dans l’index des moteurs de recherche.