A mi me gusto esta
metafora del funcionamiento de un spider.
Es una explicacion muy basica, pero responde a tu duda. Y basicamente para que indexe una web se necesita tener enlaces en otras webs ya indexadas o enviarla mediante el formulario al que hace referencia maycolalvarez.