Foros del Web » Programación para mayores de 30 ;) » Programación General »

Proyecto DCG (David contra Goliat)

Estas en el tema de Proyecto DCG (David contra Goliat) en el foro de Programación General en Foros del Web. Buenos dias amigos del foro, permitanme contarles en que estoy trabajando. Soy programador de PHP y desarrollo un sistema de gestión hace ya mas de ...
  #1 (permalink)  
Antiguo 01/01/2009, 10:17
 
Fecha de Ingreso: octubre-2008
Mensajes: 75
Antigüedad: 16 años, 1 mes
Puntos: 1
Proyecto DCG (David contra Goliat)

Buenos dias amigos del foro, permitanme contarles en que estoy trabajando. Soy programador de PHP y desarrollo un sistema de gestión hace ya mas de dos años y dicho trabajo me ha dado un nivel aproximadamente de 8 puntos sobre 10, en conocimientos de php y programacion en general. Siempre algo me han interesado los proyectos comunitarios por ejemplo wikipedia donde son sociedades sin fines de lucro y me dan mucho gusto que existan. Por otro lado veo corporaciones como Microsoft, Google, Yahoo y otros los cuales son monstruos y poseen millones de dolares. Viendo esta contradiccion es que me pregunto sera tan difícil equiparar google y poder dan un buen destino a tanta plata?, yo creo que si y ojala no este equivocado por que creo saber como hacerlo. En conclucion mi propuesta a quien le interese y al que le parezca muy tonto todo esto disculpen mi post, es reclutar programadores que se sientan identificados con esta idea para desarrollar un robot el cual ya lo tengo diagramado para recorer la red. Se que no es tan como hacer un robot y ponerlo a correr por eso mi idea es que para ganarle a estos mega buscadores es utilizar la misma idea de union que tiene el proyecto setiathome, si nolo conocen aca les dejo el link http://setiathome.berkeley.edu/. Bueno nuevamente si esto les parecio una pabada disculpenme, y gracias a los que leyeron todo el post ojala encuentre gente con mi misma idea, gracias a todos.



La Santa
  #2 (permalink)  
Antiguo 03/01/2009, 06:55
 
Fecha de Ingreso: octubre-2008
Mensajes: 75
Antigüedad: 16 años, 1 mes
Puntos: 1
Respuesta: Proyecto DCG (David contra Goliat)

Les voy mostrando como este programa indexo mercadolibre.com para que vean como va llendo el proyecto

[dominio] => mercadolibre.com
[titulo] => Bienvenidos a MercadoLibre
[mails] =>
[palabras] =>
[links] => Array
(
[propio] => Array
(
[0] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MCR&go=http://www.mercadolibre.co.cr
[1] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MLV&go=http://www.mercadolibre.com.ve
[2] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=EBAY&go=http://www.ebay.com/
[3] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MLU&go=http://www.mercadolibre.com.uy
[4] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MRD&go=http://www.mercadolibre.com.do
[5] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MLM&go=http://www.mercadolibre.com.mx
[6] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MPA&go=http://www.mercadolibre.com.pa
[7] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MPE&go=http://www.mercadolibre.com.pe
[8] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MEC&go=http://www.mercadolibre.com.ec
[9] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MLC&go=http://www.mercadolibre.cl
[10] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MCO&go=http://www.mercadolibre.com.co
[11] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MLB&go=http://www.mercadolivre.com.br
[12] => http://www.mercadolibre.com.ar/jm/ml.track.me?k1=PCOM&k2=MLA&go=http://www.mercadolibre.com.ar
[13] => mercadolibre.com/javascript:tutorial()
[14] => http://investor.mercadolibre.com/
[15] => http://www.mercadolibre.com.ec/org-img/html/MEC/main.ml
)

[externo] => Array
(
[0] => http://www.mercadopago.com
)

)


Me falta reconocer mails y palabras clave que es solamente seguir prorgamando, luego es solamente tirar el proceso y ver como junta info para acomodarla en la DB, saludos y cualquier comentario es bien recibido.



La Santa
  #3 (permalink)  
Antiguo 03/01/2009, 11:40
 
Fecha de Ingreso: febrero-2008
Mensajes: 303
Antigüedad: 16 años, 9 meses
Puntos: 2
Respuesta: Proyecto DCG (David contra Goliat)

Y como harias para que el proceso se haga de forma automatica? osea que en lugar de escribir la web que quieres agregar el ccodigo lo haga solo
  #4 (permalink)  
Antiguo 03/01/2009, 12:18
 
Fecha de Ingreso: octubre-2008
Mensajes: 75
Antigüedad: 16 años, 1 mes
Puntos: 1
Respuesta: Proyecto DCG (David contra Goliat)

Hola gracias por comentar en mi locura, esa parte ya la tengo pensada.

Tengo cargada una tabla con unos 1500 url iniciales de sitios conocidos, para hacer el primer rastrillado, luego con las url externas que saque de estas 1500 seguire mi busqueda indexando y luego retroalimentare una tabla la cual es quien me va a decir que una pagina tiene que ser actualizada diariamente o no. Eso no es lo que mas me da intriga sino el punto que mas me pone en duda es el crecimiento de la base para ver como recolecta los resultados de una busqueda y a su vez como tener el pagerack actualizado para subir o bajar una pagina de su rancking. Bueno amigo que opinas? sigo loco o puede servir?, saludos y gracias



La Santa
  #5 (permalink)  
Antiguo 03/01/2009, 12:53
 
Fecha de Ingreso: febrero-2008
Mensajes: 303
Antigüedad: 16 años, 9 meses
Puntos: 2
Respuesta: Proyecto DCG (David contra Goliat)

La idea esta buena pero la base de datos colapsara con tantos insert's, que parametros tomas en cuenta para reclutar una web ya que pueden haber paginas caducas por decirlo de una manera y la bd se llenara de esas url's
Si tienes algun link postealo para ver tus avances y como indexaste a mercadolibre
  #6 (permalink)  
Antiguo 06/01/2009, 18:28
 
Fecha de Ingreso: octubre-2008
Mensajes: 75
Antigüedad: 16 años, 1 mes
Puntos: 1
Respuesta: Proyecto DCG (David contra Goliat)

Hola KingColt mira un amigo cuando le conte de este proyecto al dia siguiente me mostro un link que encontro con exactamente la idea que tenia yo para indexar los datos, se ve que tan mal no estaba ya que esta forma es la que usa google, nada mas que mi idea era que el index key sea alfanumerico y no un entero, es para ahorrar un poco mas de espacio, miralo y seguimos

http://www.hellogoogle.com/google-busqueda-indexacion-ordenacion-paginas/


La Santa
  #7 (permalink)  
Antiguo 06/01/2009, 18:36
 
Fecha de Ingreso: enero-2008
Ubicación: Lima - Perú
Mensajes: 1.127
Antigüedad: 16 años, 10 meses
Puntos: 10
Respuesta: Proyecto DCG (David contra Goliat)

Como les va, como puedo colaborar en tu proyecto?
Por lo que veo es un proyecto a largo plazo pero no imposible, despues de todo la gente de google solo son programadores aunque ya tienen muchos años con google y esa es su ventaja.

saludos
  #8 (permalink)  
Antiguo 07/01/2009, 10:26
 
Fecha de Ingreso: octubre-2008
Mensajes: 75
Antigüedad: 16 años, 1 mes
Puntos: 1
Respuesta: Proyecto DCG (David contra Goliat)

Te envio un mensaje en privado asi te dejo mis datos, saludos y gracias


La Santa
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 22:59.