Le moteur de recherche se doit de disposer d´une base de donnée des sites constituant la toile.
De par la taille même d´Internet, cette base de donnée est potentiellement gigantesque, plusieurs milliards de lignes.
A cause de l´évolutivité même d´Internet, cette base de donnée doit pouvoir être mise à jour très régulièrement.
L´indexation dépend essentiellement du moteur de recherche.
Mais il faut, pour que cette indexation se déroule bien, que le site dispose d´une bonne structure et d´aucune faille référencement.
Outre la structure, le temps de réponse du serveur est essentiel. En effet, le moteur de recherche, vu la somme considérable de données qu´il se doit de gérer, ne peut se permettre d´augmenter le temps de crawl, c´est pourquoi il a tendance à abandonner facilement l´indexation d´un site lent.
La taille de l´indexation dépend du format des urls. En effet, un système d´urls contenant des paramètres, permet potentiellement de multiplier le nombre de pages d´un site sans pour autant augmenter le contenu.
Le principal risque est la duplication de contenu (duplicate content).