Un 'spider' (araña) o 'robot' web, es un programa que hace lo que mencionás: recorre un sitio guardando las páginas y archivos auxiliares.
Un ejemplo es el 'Googlebot', que recorre los sitios para indizarlos en la base de datos de Google.
Para entenderlo mejor, quizás quieras usar un poco un programa como el
WinHTTrack, que justamente tiene esa función.
Saludos
