Proyecto: web scrapper.

#4 Simplemente cargas un navegador headless y puedes seguir usando el mismo combo.

Pero, ¿para que hacer una araña?

Hostias, gracias a todos.
La verdad que la solución que me da #2 me mola, porque no he encontrado ninguna librería de JS para trabajar el scrapping (no porque no exista, sino porque lo ignoro, vaya.). La idea de python, como digo, me mola mucho. Pero SE SUPONE que tenemos que utilizar tecnologías que hayamos visto en clase para el proyecto. Los que hayan hecho el FP sabrán de qué hablo.

#10 Claro, la idea es guardar todos esos datos en una base de datos propia, y crear una web (me imagino que tiraré de Bootstrap porque es lo que más hemos trabajado y te quita muchos dolores de cabeza con el layout) desde la que tú puedas buscar y se te muestren esos datos. El araña lo quiero para que me haga las búsquedas cada X y tener esa base de datos actualizada.

Los profesores no saben mucho de qué les hablo y como sé que aquí en MV hay auténticos mastodontes de la programación pues recurro a esto. ¿Me estoy haciendo la picha un lío o tiene sentido lo que quiero hacer?

Gracias una vez más a todos.

#13 ¿Qué lenguajes tienes "permitidos"?

#22 Pues la verdad que el proyecto del que hablo si tiene unos añitos y no he vuelto a necesitar nada del estilo xD

Podrías mencionar las mejoras q tiene cada librería respecto a curl por ejemplo, si no, pues ya las buscaré yo, pero por darle algo más de info al thread xD

Curl te irá bien pero como se aumente la complejidad del scrapping por ejemplo con cookies de autentificación o haya JS en la web remota vas a tener unos quebraderos de cabeza impresionantes, experiencia propia. Para cosas básicas bien.

Yo he usado Selenium y te lo recomendaría si optas por otra cosa.

#26 Sí, es verdad lo que dices. Sacrificas algo de rendimiento pero es mucho más llevadero... en su momento yo lo usé con la clase PhantomJS, no sé si sigue en uso, con la cual no necesitaba interfaz gráfica y mostraba los resultados por consola (headless, como tú dices)