De aqui: http://resultadosgenerales2015.interior.es/congreso/#/ES201512-CON-ES/ES o en json: http://resultadosgenerales2015.interior.es/#/herramienta-analisis?siteLanguage=es_ES dentro del linux estan los archivos El 28 de diciembre de 2015, 16:30, Javier Marcuzzi < javier.ruben.marcuzzi en gmail.com> escribió:> Estimado Ivan Aguilar > > Desconozco desde donde toma los datos, en R hay herramientas para trabajar > con json y HTML, el problema es como trabajar teniendo menos trabajo (con > algo de redundancia), y esto tiene algo de gustos personales, conocimientos > de una tecnología sobre otra, incluso podría juntar los datos en una base > de datos y luego leerlos desde R. No hay una receta optima, no comprendo > bien disgregado y un tanto coñazo, porque esos términos pueden tener una > frase idiomática que no uso, supongo que pueden ser cientos de archivos > json, los cuáles posiblemente tienen un patrón que comparten, si ese es el > caso podía realizar un bucle de lectura e importación de datos json. > > > > > *De: *Ivan Aguilar <iaguilar en gmail.com> > *Enviado: *lunes, 28 de diciembre de 2015 12:08 > *Para: *Javier Marcuzzi <javier.ruben.marcuzzi en gmail.com> > *CC: *R-help-es <r-help-es en r-project.org> > *Asunto: *Re: [R-es] Elecciones Generales > > > > Tiene todo, pero esta muy disgregado en varios archivos, parece un tanto > coñazo > > > > El 28 de diciembre de 2015, 13:10, Javier Marcuzzi < > javier.ruben.marcuzzi en gmail.com> escribió: > > Estimado Ivan Aghilar > > > > Primero hay que responder una pregunta, ¿json tiene todo lo que necesito o > en la versión web hay algo más?, según esta respuesta puedes decidir, la > diferencia es simple, json ya tiene realizado el proceso de limpiar los > datos del DOM del HTML. > > > > Javier Rubén Marcuzzi > > > > > *De: *Ivan Aguilar <iaguilar en gmail.com> > *Enviado: *lunes, 28 de diciembre de 2015 7:58 > *Para: *R-help-es <r-help-es en r-project.org> > *Asunto: *[R-es] Elecciones Generales > > > > Ideas para escrapear los resultados de las generales por municipios? > > > > Dos vias: > > > > 1) via web > > 2) via json > > > > la 2) tardará mucho creo. > > > > Va, si me ayudais escribimos post conjunto > > > > -- > > Ivan > > > > [[alternative HTML version deleted]] > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es en r-project.org > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > > > > > -- > > Ivan > > >-- Ivan [[alternative HTML version deleted]]
Estimado Ivan Mire la página web, yo no vivo en España, no conozco diferencias entre Comunidades, Circunscripciones, pero para utilizar una herramienta de webscraping está bastante sencillo, son algo de tres niveles (no mire el DOM del HTML) pero puede ser que con poco trabajo de su parte pueda escribir el código para todo, lógicamente luego mientras se prepara un café deja a R conectado y realizando consultas a internet. La ventaja (sin mirar la versión el json) puede ser en la preparación de los datos de acuerdo a sus gustos y necesidades (no lee ni guarda lo que no tiene interés). Javier Rubén Marcuzzi De: Ivan Aguilar Enviado: lunes, 28 de diciembre de 2015 12:37 Para: Javier Marcuzzi CC: R-help-es Asunto: Re: [R-es] Elecciones Generales De aqui: http://resultadosgenerales2015.interior.es/congreso/#/ES201512-CON-ES/ES o en json: http://resultadosgenerales2015.interior.es/#/herramienta-analisis?siteLanguage=es_ES dentro del linux estan los archivos El 28 de diciembre de 2015, 16:30, Javier Marcuzzi <javier.ruben.marcuzzi en gmail.com> escribió: Estimado Ivan Aguilar Desconozco desde donde toma los datos, en R hay herramientas para trabajar con json y HTML, el problema es como trabajar teniendo menos trabajo (con algo de redundancia), y esto tiene algo de gustos personales, conocimientos de una tecnología sobre otra, incluso podría juntar los datos en una base de datos y luego leerlos desde R. No hay una receta optima, no comprendo bien disgregado y un tanto coñazo, porque esos términos pueden tener una frase idiomática que no uso, supongo que pueden ser cientos de archivos json, los cuáles posiblemente tienen un patrón que comparten, si ese es el caso podía realizar un bucle de lectura e importación de datos json. De: Ivan Aguilar Enviado: lunes, 28 de diciembre de 2015 12:08 Para: Javier Marcuzzi CC: R-help-es Asunto: Re: [R-es] Elecciones Generales Tiene todo, pero esta muy disgregado en varios archivos, parece un tanto coñazo El 28 de diciembre de 2015, 13:10, Javier Marcuzzi <javier.ruben.marcuzzi en gmail.com> escribió: Estimado Ivan Aghilar Primero hay que responder una pregunta, ¿json tiene todo lo que necesito o en la versión web hay algo más?, según esta respuesta puedes decidir, la diferencia es simple, json ya tiene realizado el proceso de limpiar los datos del DOM del HTML. Javier Rubén Marcuzzi De: Ivan Aguilar Enviado: lunes, 28 de diciembre de 2015 7:58 Para: R-help-es Asunto: [R-es] Elecciones Generales Ideas para escrapear los resultados de las generales por municipios? Dos vias: 1) via web 2) via json la 2) tardará mucho creo. Va, si me ayudais escribimos post conjunto -- Ivan [[alternative HTML version deleted]] _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es -- Ivan -- Ivan [[alternative HTML version deleted]]
Hola Ivan,
En mi opinión recurrir a "escrapear" el html no tiene demasiado
sentido
cuando tienes los json.
Esto está en sucio, tienes que hacer un bucle que vaya recorriendo la
jerarquía de directorios. Fija "data" como directorio de trabajo y
borra
todas las carpetas que no sean "ES".
library(RJSONIO)
directorios<-list.dirs()
directorios<-directorios[nchar(directorios)>=17]
directorios<-gsub("\\./", replacement = "", directorios)
# Esto tiene que escribirse como bucle
ruta<-paste0(directorios[1], "/info.json")
nombre_lista<-strsplit(directorios[1], "/")[[1]][4]
assign(nombre_lista, data.frame(Reduce(rbind, fromJSON(ruta)[[2]][[1]]),
row.names = NULL))
El problema es que tendrías al final un montón de listas, nada que no
pasara si utilizaras un scrapper. Para evitar eso habría que pensar en
como importar los archivos de forma ordenada.
¿Se puede saber lo que quieres hacer? Por que así se podría dimensionar
la solución.
El 28/12/15 a las 16:37, Ivan Aguilar escribió:> De aqui:
>
> http://resultadosgenerales2015.interior.es/congreso/#/ES201512-CON-ES/ES
>
> o en json:
>
>
http://resultadosgenerales2015.interior.es/#/herramienta-analisis?siteLanguage=es_ES
>
> dentro del linux estan los archivos
>
> El 28 de diciembre de 2015, 16:30, Javier Marcuzzi <
> javier.ruben.marcuzzi en gmail.com> escribió:
>
>> Estimado Ivan Aguilar
>>
>> Desconozco desde donde toma los datos, en R hay herramientas para
trabajar
>> con json y HTML, el problema es como trabajar teniendo menos trabajo
(con
>> algo de redundancia), y esto tiene algo de gustos personales,
conocimientos
>> de una tecnología sobre otra, incluso podría juntar los datos en una
base
>> de datos y luego leerlos desde R. No hay una receta optima, no
comprendo
>> bien disgregado y un tanto coñazo, porque esos términos pueden tener
una
>> frase idiomática que no uso, supongo que pueden ser cientos de archivos
>> json, los cuáles posiblemente tienen un patrón que comparten, si ese es
el
>> caso podía realizar un bucle de lectura e importación de datos json.
>>
>>
>>
>>
>> *De: *Ivan Aguilar <iaguilar en gmail.com>
>> *Enviado: *lunes, 28 de diciembre de 2015 12:08
>> *Para: *Javier Marcuzzi <javier.ruben.marcuzzi en gmail.com>
>> *CC: *R-help-es <r-help-es en r-project.org>
>> *Asunto: *Re: [R-es] Elecciones Generales
>>
>>
>>
>> Tiene todo, pero esta muy disgregado en varios archivos, parece un
tanto
>> coñazo
>>
>>
>>
>> El 28 de diciembre de 2015, 13:10, Javier Marcuzzi <
>> javier.ruben.marcuzzi en gmail.com> escribió:
>>
>> Estimado Ivan Aghilar
>>
>>
>>
>> Primero hay que responder una pregunta, ¿json tiene todo lo que
necesito o
>> en la versión web hay algo más?, según esta respuesta puedes decidir,
la
>> diferencia es simple, json ya tiene realizado el proceso de limpiar los
>> datos del DOM del HTML.
>>
>>
>>
>> Javier Rubén Marcuzzi
>>
>>
>>
>>
>> *De: *Ivan Aguilar <iaguilar en gmail.com>
>> *Enviado: *lunes, 28 de diciembre de 2015 7:58
>> *Para: *R-help-es <r-help-es en r-project.org>
>> *Asunto: *[R-es] Elecciones Generales
>>
>>
>>
>> Ideas para escrapear los resultados de las generales por municipios?
>>
>>
>>
>> Dos vias:
>>
>>
>>
>> 1) via web
>>
>> 2) via json
>>
>>
>>
>> la 2) tardará mucho creo.
>>
>>
>>
>> Va, si me ayudais escribimos post conjunto
>>
>>
>>
>> --
>>
>> Ivan
>>
>>
>>
>> [[alternative HTML version deleted]]
>>
>>
>>
>> _______________________________________________
>>
>> R-help-es mailing list
>>
>> R-help-es en r-project.org
>>
>> https://stat.ethz.ch/mailman/listinfo/r-help-es
>>
>>
>>
>>
>>
>>
>>
>> --
>>
>> Ivan
>>
>>
>>
>
>
En respuesta a este hilo que se ha desdoblado. Aquí se muestra como hacer una importación por provincias. http://cafecondatos.es/2015/12/importar-datos-provinciales-de-las-elecciones-generales-de-2015-en-r-3/ Podría hacerse extensible a municipios pero requeriría una dedicación especial. Por supuesto, he descartado lo de escrapear la web, en mi opinión es el último recurso. Saludos. El 28/12/15 a las 18:02, Karel L. escribió:> > library(RJSONIO) > directorios<-list.dirs() > directorios<-directorios[nchar(directorios)>=17] > directorios<-gsub("\\./", replacement = "", directorios) > > # Esto tiene que escribirse como bucle > ruta<-paste0(directorios[1], "/info.json") > nombre_lista<-strsplit(directorios[1], "/")[[1]][4] > assign(nombre_lista, data.frame(Reduce(rbind, fromJSON(ruta)[[2]][[1]]), > row.names = NULL))