Nueva API para extraer contenido de filmaffinity

n1x3r #1 Abr '12

Hola, estoy trabajando en un proyecto personal y por necesidad he tenido que crear esta api para poder obtener información en español de la mejor web de películas. y ya que me he currado el crearla, me gustaría compartir con vosotros su funcionamiento.

Esta API para filmaffinity esta montada en PHP y en un tiempo record por lo que estoy mirando fallos pero parece que corre bien. Los archivos estan montados en un servidor por el que cualquier usuario podra acceder a los datos desde su web, script, etc etc.

El script muestra los datos en texto plano, XML y JSON, estos dos último mas acorde para la extracción de datos.

La dirección del scrip es: http://script.spaingeek.com/filmaffinity/

Como bien se explica el funcionamiento es muy sencillo, puedes introducir el nombre de la pelicula, o la ID de filmafinity.com

	Obtener los datos con el nombre:
	Formato: http://script.spaingeek.com/filmaffinity/?d1=[NOMBRE_PELICULA]	
	Ejemplo: http://script.spaingeek.com/filmaffinity/?d1=matrix	
	
Obtener los datos con la ID
Formato: http://script.spaingeek.com/filmaffinity/?d2=[ID_PELICULA]	
Ejemplo: http://script.spaingeek.com/filmaffinity/?d2=932476	

Activa XML:
Añadir "&xml=1" al final de la URL sin las comillas
Ejemplo: http://script.spaingeek.com/filmaffinity/?d1=matrix&xml=1
Ejemplo: http://script.spaingeek.com/filmaffinity/?d2=932476&xml=1

Activa JSON:
Añadir "&json=1" al final de la URL sin las comillas
Ejemplo: http://script.spaingeek.com/filmaffinity/?d1=matrix&json=1
Ejemplo: hhttp://script.spaingeek.com/filmaffinity/?d2=932476&json=1

Los resultados serian mostrados así:

code

Array
(
    [titulo] => Matrix
    [rating] => 7,9
    [votos] => 136.391 votos
    [trailers] => http://www.filmaffinity.com/es/evideos.php?movie_id=932476
    [cartel] => http://pics.filmaffinity.com/Matrix-835446153-large.jpg
    [titulo_original] => The Matrix
    [ano] => 1999
    [duracion] => 131 min.
    [pais] => Estados Unidos
    [director] => Andy Wachowski,  Lana Wachowski (AKA Larry Wachowski)
    [guion] => Andy Wachowski, Lana Wachowski (AKA Larry Wachowski)
    [musica] => Don Davis
    [fotografia] => Bill Pope
    [reparto] => Keanu Reeves,  Laurence Fishburne,  Carrie-Anne Moss,  Hugo Weaving,  Joe Pantoliano,  Marcus Chong,  Paul Goddard,  Gloria Foster
    [productora] => Warner Bros / Village Roadshow Pictures / Groucho II Film Partnership. Productor: Joel Silver
    [genero] => Ciencia ficción. Fantástico. Acción. Thriller | Película de culto. Cyberpunk. Thriller futurista
    [sinopsis] => Thomas Anderson es un brillante programador de una respetable compañía de software. Pero fuera del trabajo es Neo, un hacker que un día recibe una misteriosa visita...
    [script_by] => http://about.me/danielfs
    [criticas] => Array
        (
            [0] => Deslumbra y es un gran espectáculo digno de ser visto, pero se pierde un poco dentro de un pretencioso eclecticismo
            [1] => (Jesús Ruiz Mantilla: Diario El País)
            [2] => Lo que importa aquí es la forma y el ritmo
            [3] => (Omar Khan: Cinemanía)
            [4] => Sin duda, la más fascinante entrega de cienciaficción que se ha dado en el cine mundial en los últimos años. Espectaculares efectos especiales para una cinta que se separa totalmente de todo lo visto hasta el momento
            [5] => (Fernando Morales: Diario El País)
        )

)

Este seria el modo de texto plano, y el XML seria así:

code

<pelicula>
<titulo>Matrix</titulo>
<titulo_original>The Matrix</titulo_original>
<rating>7,9</rating>
<votos>136.391 votos</votos>
<ano>1999</ano>
<duracion>131 min.</duracion>
<pais>Estados Unidos</pais>
<cartel>
http://pics.filmaffinity.com/Matrix-835446153-large.jpg
</cartel>
<trailers>
http://www.filmaffinity.com/es/evideos.php?movie_id=932476
</trailers>
<director>
Andy Wachowski, Lana Wachowski (AKA Larry Wachowski)
</director>
<guion>
Andy Wachowski, Lana Wachowski (AKA Larry Wachowski)
</guion>
<musica>Don Davis</musica>
<fotografia>Bill Pope</fotografia>
<reparto>
Keanu Reeves, Laurence Fishburne, Carrie-Anne Moss, Hugo Weaving, Joe Pantoliano, Marcus Chong, Paul Goddard, Gloria Foster
</reparto>
<productora>
Warner Bros / Village Roadshow Pictures / Groucho II Film Partnership. Productor: Joel Silver
</productora>
<genero>
Ciencia ficción. Fantástico. Acción. Thriller | Película de culto. Cyberpunk. Thriller futurista
</genero>
<sinopsis>
Thomas Anderson es un brillante programador de una respetable compañía de software. Pero fuera del trabajo es Neo, un hacker que un día recibe una misteriosa visita...
</sinopsis>
<script_by>http://about.me/danielfs</script_by>
</pelicula>

Por ultimo en formato JSON:

code

{
    "titulo": "Matrix",
    "rating": "7,9",
    "votos": "136.398 votos",
    "trailers": "http://www.filmaffinity.com/es/evideos.php?movie_id=932476",
    "cartel": "http://pics.filmaffinity.com/Matrix-835446153-large.jpg",
    "titulo_original": "The Matrix",
    "ano": "1999",
    "duracion": "131 min.",
    "pais": "Estados Unidos",
    "director": "Andy Wachowski, Lana Wachowski (AKA Larry Wachowski)",
    "guion": "Andy Wachowski, Lana Wachowski (AKA Larry Wachowski)",
    "musica": "Don Davis",
    "fotografia": "Bill Pope",
    "reparto": "Keanu Reeves, Laurence Fishburne, Carrie-Anne Moss, Hugo Weaving, Joe Pantoliano, Marcus Chong, Paul Goddard, Gloria Foster",
    "productora": "Warner Bros / Village Roadshow Pictures / Groucho II Film Partnership. Productor: Joel Silver",
    "genero": "Ciencia ficcin002e0020Fants0074ico. Accin002e0020Thriller | Pelc0075la de culto. Cyberpunk. Thriller futurista",
    "sinopsis": "Thomas Anderson es un brillante programador de una respetable compaa0020de software. Pero fuera del trabajo es Neo, un hacker que un da0020recibe una misteriosa visita...",
    "script_by": "http://about.me/danielfs",
    "criticas": [
        "Deslumbra y es un gran espectc0075lo digno de ser visto, pero se pierde un poco dentro de un pretencioso eclecticismo",
        "(Jess002000520075iz Mantilla: Diario El Pas0029",
        "Lo que importa aqu 0065s la forma y el ritmo",
        "(Omar Khan: Cinemana0029",
        "Sin duda, la ms0020fascinante entrega de cienciaficcin00200071ue se ha dado en el cine mundial en los l00740069006dos ao0073002e Espectaculares efectos especiales para una cinta que se separa totalmente de todo lo visto hasta el momento",
        "(Fernando Morales: Diario El Pas0029"
    ]
}

Los programadores que deseen utilizarla solo tendrán que crear un pequeño script que hace de conector y podrán consultar información de cualquier película, obteniendo los datos de una forma ordenada.

Como programo en php, pienso que una salida en XML o JSON es la forma mas facil de crear un conector con DOM por ejemplo, pero supongo que para otros lenguajes como C++, Java, C#, etc puede que no sea la mas correcta.
Si alguna persona cree que existe algún método mejor para la realización de un conector que me lo comunique, estoy abierto a cualquier posibilidad.

Pensad que lo que se muestra en texto plano es un simple array, lo digo por si queréis escribir algo de código para que lo implemente simplemente tenéis que pensar que es un array con los títulos que se ven.

Por ejemplo para la realización del XML este es el código:

code

	
	header("Content-Type: application/xml; charset=ISO-8859-1");
	echo '<?xml version="1.0" encoding="utf-8"?>';
	echo '<pelicula>';
	echo '<titulo>' . $datos['titulo'] . '</titulo>';	
	echo '<titulo_original>' . $datos['titulo_original'] . '</titulo_original>';	
	echo '<rating>' . $datos['rating'] . '</rating>';	
	echo '<votos>' . $datos['votos'] . '</votos>';
	echo '<ano>' . $datos['ano'] . '</ano>';
	echo '<duracion>' . $datos['duracion'] . '</duracion>';
	echo '<pais>' . $datos['pais'] . '</pais>';
	echo '<cartel>' . $datos['cartel'] . '</cartel>';
	echo '<trailers>' . $datos['trailers'] . '</trailers>';
	echo '<director>' . $datos['director'] . '</director>';
	echo '<guion>' . $datos['guion'] . '</guion>';
	echo '<musica>' . $datos['musica'] . '</musica>';
	echo '<fotografia>' . $datos['fotografia'] . '</fotografia>';
	echo '<reparto>' . $datos['reparto'] . '</reparto>';
	echo '<productora>' . $datos['productora'] . '</productora>';
	echo '<genero>' . $datos['genero'] . '</genero>';
	echo '<sinopsis>' . $datos['sinopsis'] . '</sinopsis>';
	echo '<script_by>' . $datos['script_by'] . '</script_by>';
	echo '</pelicula>';

Aquí dejo un ejemplo de conector hecho en DOM para XML php, el resultado es un array con todos los datos:

code

<?php
$file = implode ("", file ('http://script.spaingeek.com/filmaffinity/?d1=matrix&xml=1'));
$dom  = new DomDocument();
$dom->loadHTML($file);
$xpath = new DomXPath($dom); 
$data = array (
  'titulo' => utf8_decode(trim($xpath->query('//pelicula/titulo/text()')->item(0)->nodeValue)),
  'titulo_original' => utf8_decode(trim($xpath->query('//pelicula/titulo_original/text()')->item(0)->nodeValue)),
  'rating' => utf8_decode(trim($xpath->query('//pelicula/rating/text()')->item(0)->nodeValue)),
  'votos' => utf8_decode(trim($xpath->query('//pelicula/votos/text()')->item(0)->nodeValue)),
  'ano' => utf8_decode(trim($xpath->query('//pelicula/ano/text()')->item(0)->nodeValue)),
  'duracion' => utf8_decode(trim($xpath->query('//pelicula/duracion/text()')->item(0)->nodeValue)),
  'pais' => utf8_decode(trim($xpath->query('//pelicula/pais/text()')->item(0)->nodeValue)),
  'cartel' => utf8_decode(trim($xpath->query('//pelicula/cartel/text()')->item(0)->nodeValue)),
  'trailers' => utf8_decode(trim($xpath->query('//pelicula/trailers/text()')->item(0)->nodeValue)),
  'director' => utf8_decode(trim($xpath->query('//pelicula/director/text()')->item(0)->nodeValue)),
  'guion' => utf8_decode(trim($xpath->query('//pelicula/guion/text()')->item(0)->nodeValue)),
  'musica' => utf8_decode(trim($xpath->query('//pelicula/musica/text()')->item(0)->nodeValue)),
  'fotografia' => utf8_decode(trim($xpath->query('//pelicula/fotografia/text()')->item(0)->nodeValue)),
  'reparto' => utf8_decode(trim($xpath->query('//pelicula/reparto/text()')->item(0)->nodeValue)),
  'productora' => utf8_decode(trim($xpath->query('//pelicula/productora/text()')->item(0)->nodeValue)),
  'genero' => utf8_decode(trim($xpath->query('//pelicula/genero/text()')->item(0)->nodeValue)),
  'sinopsis' => utf8_decode(trim($xpath->query('//pelicula/sinopsis/text()')->item(0)->nodeValue)),
  'script_by' => utf8_decode(trim($xpath->query('//pelicula/script_by/text()')->item(0)->nodeValue))
  );
print_r($data);
?>

Conector para JSON php:

code

<?php
$json = file_get_contents('http://script.spaingeek.com/filmaffinity/?d1=matrix&json=1');
$d=json_decode($json);  

print_r($d);

?>

Un saludo a todos.

EDIT:
PD: He editado la dirección del script, ahora esta montada bajo un dominio .tk ya que el servidor anterior ha fallado, y para evitar la continua modificación de los script lo monto bajo un dominio, si algun dia vuelve a fallar solo sera necesario montarlo en otro y modificar las DNS. Pido que si vuestro conector falla me aviseis para que pueda solucionarlo lo antes posible.

5

Metaza #2 Abr '12

Yo haría que devolviese un JSON.

Un saludo.

1 respuesta

n1x3r #3 Abr '12

#2 Cierto, ya lo tengo implementado:

	
	Activa JSON:
	Añadir \"&json=1\" al final de la URL sin las comillas
	Ejemplo: http://www.infopelicula.nixiweb.com/?d1=matrix&json=1
	Ejemplo: http://www.infopelicula.nixiweb.com/?d2=932476&json=1

Gracias por el aviso

Metaza #4 Abr '12

Por cierto exactamente la ID de la película como va, imagínate que quiero hacer un barrido de las 100 primeras registradas, cojo y voy cogiendo 0,1,2,3... o 0000001,0000002 o... ¿no hay linealidad?

Gracias.

1 respuesta

n1x3r #5 Abr '12

#4 Pues no se el sistema de organización de filmaffinity, pero supongo que serán claves aleatorias, o con algún patrón, no tengo ni idea.

TaiCHoKe #6 May '12

#1 Ajax. Creo que era una de tus dudas vamos.

http://www.bloogie.es/tecnologia/programacion/34-ajax-con-jquery-php-y-json-ejemplo-paso-a-paso

1 respuesta

n1x3r #7 May '12

#6 Ajax interactua con JSON y este ya lo tengo implementado, ajax y jquery ya es cosa del cliente, no del servidor.

1 respuesta

TaiCHoKe #8 May '12

#7 Pensaba que estabas atascado ahi endendi mal.

La unica duda es que devolver? Tu usa JSON que es una maravilla

n1x3r #9 May '12

Tenéis algún ejemplo de conector para JSON? que reconstruya el array a partir del JSON.
Un saludo.

DarkSoldier #10 May '12

ehmm se puede saber como la has hecho? filmaffinity tiene API para desarrolladores? xD

2 respuestas

n1x3r #11 May '12

#10 esta es una api no oficial. Lo remarco NO OFICIAL y no quiero desvelar el método que utilizo para evitar bloqueos dejando inservible mi script.

eisenfaust #12 May '12

#10 Échale un ojo a http://search.cpan.org/_{stepanov/IMDB-Film-0.52/lib/IMDB/Film.pm}

Igual te da pistas.

tracker086 #13 May '12

Una pregunta, hace un tiempo yo hice un scrapping de IMDB, el caso es que después de investigar un poco, vi que es ilegal en algunos casos, como por ejemplo con IMDB. Has mirado en los Terms of use de FilmAffinity si pone algo al respecto?

Solo lo digo por que no te metas en problemas

Solo por curiosidad, los datos los sacas mediante expresiones regulares?

Un saludo y enhorabuena por el curro!!

1 respuesta

n1x3r #14 May '12

#13 Si me leí la política de privacidad y las condiciones de uso, y no dice nada al respecto.
A tu otra pregunta no, no utilizo "regex", buen creo que en dos cosas, pero son sentencias muy simples, tampoco utilizo ninguna técnica de intrusión "haxor" que accede a la base de datos interna ni nada por el estilo. Mas bien un poco de regex como comento, algo de DOM, y mucho ingenio, arrays y objetos diría yo xD.

PD: si encontráis errores (que seguro que existen) me lo comunicáis y lo arreglo, ahora tengo algunos problemas con la exportación en JSON y la codificación, no estoy muy puesto en JSON así que lo solucionare lo antes posible.

n1x3r #15 May '12

Tras una leve caída he mejorado y resubido los script ahora se mueve bajo un dominio .tk

Un saludo a todos.

jujoalco #16 May '12

como generas el XML? o sea, no digo como coges la info de la web y eso, me refiero a teniendo los datos, como lo exportas en XML o en JSON, ya que hasta ahora yo siempre lo hacia manualmente(creando el XML/JSON manualmente como cadena de texto)

1 respuesta

n1x3r #17 May '12

#16 el XML de forma manual, ya que aun no me he currado una función para hacerlo de forma automática.

	header("Content-Type: application/xml; charset=ISO-8859-1");
	echo '<?xml version="1.0" encoding="ISO-8859-1"?>';
	echo '<pelicula>';
	echo '<titulo>' . $datos['titulo'] . '</titulo>';	
	echo '<titulo_original>' . $datos['titulo_original'] . '</titulo_original>';	
	echo '<rating>' . $datos['rating'] . '</rating>';	
	echo '<votos>' . $datos['votos'] . '</votos>';
	echo '<ano>' . $datos['ano'] . '</ano>';
	echo '<duracion>' . $datos['duracion'] . '</duracion>';
	echo '<pais>' . $datos['pais'] . '</pais>';
	echo '<cartel>' . $datos['cartel'] . '</cartel>';
	echo '<trailers>' . $datos['trailers'] . '</trailers>';
	echo '<director>' . $datos['director'] . '</director>';
	echo '<guion>' . $datos['guion'] . '</guion>';
	echo '<musica>' . $datos['musica'] . '</musica>';
	echo '<fotografia>' . $datos['fotografia'] . '</fotografia>';
	echo '<reparto>' . $datos['reparto'] . '</reparto>';
	echo '<productora>' . $datos['productora'] . '</productora>';
	echo '<genero>' . $datos['genero'] . '</genero>';
	echo '<sinopsis>' . $datos['sinopsis'] . '</sinopsis>';
	echo '<script_by>' . $datos['script_by'] . '</script_by>';
	echo '</pelicula>';

Pero el json si existe una funcion y es esta:

			$datos_b = array_map('htmlentities',$datos['criticas']);
			$datos = array_map('htmlentities',$datos);  

			$datos['criticas'] = $datos_b;
			print_r(json_encode($datos));

Para el json primero codifico el array con htmlentities para que no de problemas al decodificar con los caracteres raros, y después uso la función json_encode (se q te estarás dando de cabezazos contra la pared, lo se) para decodificarlo uso esta funcion q esta mejorada respecto al del post original:

function json_conex($go){
	$resultado = strpos($go, "id=");
	if($resultado !== FALSE){
	$go = explode("=", $go);
	$json = file_get_contents('http://123script.tk/filmaffinity/?d2='.urlencode($go[1]).'&json=1');
	}else{
	$json = file_get_contents('http://123script.tk/filmaffinity/?d1='.urlencode($go).'&json=1');
	}
	$d=json_decode($json); 
	$f = toArray($d);
	$datos = array_map("html_entity_decode", $f); 
	return $datos;}

Esta un poco personalizada pero se entiende bien, esta función te devuelve el array tal cual estba antes de codificarlo con json.

Mas dudas ya sabéis

PD: si alguien necesita un programador php aquí dejo mi web de contacto: http://about.me/danielfs

N

neon2004 #18 Jun '12

Hola.

He estado probándolo y funciona correctamente pero querría comentar algo por si fuese posible mejorarlo y es el tema de la codificación de caracteres.

Hay muchos caracteres que no los pilla bien como en el caso de los títulos.

En el campo de titulo no coge bien los caracteres de este y sin embarco en el campo titulo_original si lo coge bien, cuando entiendo que se harán del mismo modo y se supone que deberían de salir bien ambos.

Aparte de esto solo dar la enhorabuena por este gran trabajo.

1 respuesta

n1x3r #19 Jun '12

#18 Agradecería que me dieses la id de la película para verificarlo, y poder asi solucionar el problema.
La verdad es que he tenido muchos problemas con la codificación y los conectores, es algo que me trae de cabeza ya que la fuente no siempre utiliza una misma codificación :/

N

neon2004 #20 Jul '12

Hola

Desde hace unos días me dejo de funcionar mostrandome el siguiente error:

Forbidden

You don't have permission to access /www/123script.tk/index.php on this server.

Additionally, a 403 Forbidden error was encountered while trying to use an ErrorDocument to handle the request.

¿Es temporal?

En cuanto a la id de las que me daban fallos de codificación tendría que mirar cual si vuelve a funcionar para ver si podrías corregirlo.

Gracias

n1x3r #21 Jul '12

La codificación ya la arregle, el servidor esta caido por limite de transferencia, son muchos miles de visitas diarias.
Lo estoy solucionando, en 2 días lo tendré listo.

Un saludo.

J

juanpecm #22 Jul '12

Se sabe para cuando volverá a estar disponible de nuevo?

Gracias y enhorabuena

djtonight #23 Jul '12 fap caster

Gran trabajo.
Quizá deberías mirar algun repositorio o algo donde te alojen tu script y así no tener que chupar tu transferencia mensual.

n1x3r #24 Ago '12

Ya lo tengo alojado en otro servidor, espero que en este no se caiga.

Un saludo a todos.

A

ahaugas #25 Ago '12

hola, como estan?
yo he desarrollado una api muy parecida... me sabrias decir como consigues cuando no encuentra nada por lo menos sacarte un resultado parecido?

esta muy bien el desarrollo.

y perdonad por el post ya se que lleva bastante tiempo sin uso
gracias
mi web www.ahaugas.com

1 respuesta

n1x3r #26 Ago '12

#25 Se realiza una búsqueda general y se selecciona la mas relevante. Generalmente es por la película mas parecida y con fecha mas actual.

Un saludo.

N

neon2004 #27 Sep '12

Hola.

Estoy probando de nuevo el servicio y vuelve a no funcionar. ¿Es algo temporal?

n1x3r #28 Sep '12

Tengo problemas con el dominio, confié en los .tk pero son una basura, ya que en el momento en el que tienen algo de popularidad te los cierran o lo venden a compañias de publicidad.

El nuevo dominio es: http://script.spaingeek.com/filmaffinity/
Y este será definitivo.

B

[Borrado] #29 Sep '12

http://script.spaingeek.com/filmaffinity/?d1=matrix

Acabo de probar esto, no crees que sería mejor que la crítica y el autor de la misma vayan en el mismo elemento del array?

#30: Esto claramente es subjetivo, pero yo creo que sería mejor tener un array de criticas con dos elementos: autor y contenido.

2 respuestas

n1x3r #30 Sep '12

#29 Lo he puesto así xq es mas fácil unirlo que separarlo. Yo personalmente lo utilizo separado por temas de diseño.

1 respuesta

Nueva API para extraer contenido de filmaffinity

Usuarios habituales

Tags