Crear Buscadores

[pralva]

Hola
Me gustaría saber de que forma indexan los buscadores cómo Google, Altavista, alltheweb, etc..., la información de las páginas webs que ofrecen posteriormente en la lista de resultados de busqueda.

Enlazando con la consulta anterior me gustaría saber lo siguiente:
Imaginar que yo deseo hacer un periódico on-line y para facilitar la tarea a mis visitantes quiero crear un buscador interno para mi web, donde introduciendo una palabra aparezcan todos los artículos que la contengan.
Mi preguntas son:
¿Los artículos han de estar en un campo dentro de la base de datos?
En el caso de que quiera que mi buscador también busque artículos de otros medios de prensa externos a mi pagina web ¿como lo podría hacer?.
¿Tendría que indexar todos los artículos de ese otro periodico on-line a mi base de datos para que mi buscador tb pudiera rescatar esos artículos para mis visitantes?.
¿Cómo funcionan los robots o spiders de los buscadores para actualizar sus bases de datos?

Segun he leido, los programas de Altavista o Excite están hechos con C/C++.
¿Con PHP se pude hacer algo similar?

Si me pudierais contestar o dirigir a algun manual donde tb pudieran existir ejemplos de codigo en PHP os lo agradecería.

Gracias anticipadas.
Un saludo cordial.