javier.ruben.marcuzzi en gmail.com
2015-Jun-05 13:40 UTC
[R-es] usar Selenium para web scraping
Estimado José Luis Cañadas En lo personal el trabajo de Gregorio que cita Carlos me fue de mucha ayuda, lo único que Rselenium tiene un comportamiento algo extraño, mi problema es en dos líneas, la primera sobre ejemplos que no funcionan (algo cambió), pero la importante es sobre mi trabajo, luego de horas de web scraping por alguna razón da un error, este tiene que ver con el recorrido de todas las opciones de un combo (serán 200), y en la mitad informa un error relacionado con encontrar el id en HTML que tiene que recorrer (aunque ya lo recorrió varias veces). Este error no supe solucionarlo, en caso de no tener que llenar formularios HTML rvest suele ser más rápido. Javier Rubén Marcuzzi Técnico en Industrias Lácteas Veterinario De: Carlos Ortega Enviado el: ?viernes?, ?05? de ?junio? de ?2015 ?08?:?49? ?a.m. Para: jose luis cañadas CC: R-help-es en r-project.org Hola José Luis, Además de lo que puso en su blog, Gregorio hizo una presentación muy clara de cómo usar RSelenium en el grupo de R de Madrid. El video de lo que contó es este: https://vimeo.com/96023824 Por si en él encuentras la clave.... Saludos, Carlos Ortega www.qualityexcellence.es El 5 de junio de 2015, 13:28, José Luis Cañadas Reche < canadasreche en gmail.com> escribió:> Hola. > > Tengo que bajarme varias tablas del INE y necesito interactuar con el > navegador. Ví el fantástico post que escribió Gregorio Serrano (que la > tierra le sea leve), en > http://www.grserrano.net/wp/2014/01/relenium-el-siguiente-nivel-de-web-scraping-con-r/ > y estoy intentando reproducirlo para aprender como funciona relenium > > Pero relenium me da error después de > > if(!require(relenium)) install.packages("relenium") > > precios <- " > http://www.ine.es/jaxi/tabla.do?path=/t38/bme2/t07/a081/l0/&file=1300010.px&type=pcaxis&L=0 > " > > firefox <- firefoxClass$new() > > Error in exceptionTable[, 1] : subíndice fuera de los límites > > Total que me he puesto a trastear con RSelenium, y consigo seleccionar el > elemento combobox pero no sé como obtener los valores que muestra ni como > seleccionarlos. ¿Alguna idea? > > > > library(RSelenium) > checkForServer() > startServer() > > remDr <- remoteDriver(remoteServerAddr = "localhost" > , port = 4444 > , browserName = "firefox" > ) > > remDr$open() > > > remDr$navigate(precios) > > # buscar por id > webElem1 <- remDr$findElement(using = 'id', value = 'cri1') > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es >-- Saludos, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]] _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es [[alternative HTML version deleted]]
Se ha borrado un adjunto en formato HTML... URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20150608/7accde87/attachment.html>
Hola, No sé si esta respuesta en "Stack Overflow" te puede ayudar: http://stackoverflow.com/questions/26938118/check-for-dialog-box-in-rselenium Saludos, Carlos Ortega www.qualityexcellence.es El 8 de junio de 2015, 9:09, José Luis Cañadas Reche <canadasreche en gmail.com> escribió:> Gracias Javier y Carlos. > > El tema es que relenium me da error al iniciar firefox y lo cierra. En la > página github del paquete https://github.com/LluisRamon/relenium dicen > que lo discontinúan debido a la aparición de otro paquete RSelenium. Y aquí > es dónde me pierdo, no he averiguado como acceder a los valores de un combo > utilizando RSelenium. > > Saludos. > > El 05/06/15 a las 15:40, javier.ruben.marcuzzi en gmail.com escribió: > > Estimado José Luis Cañadas > > En lo personal el trabajo de Gregorio que cita Carlos me fue de mucha > ayuda, lo único que Rselenium tiene un comportamiento algo extraño, mi > problema es en dos líneas, la primera sobre ejemplos que no funcionan (algo > cambió), pero la importante es sobre mi trabajo, luego de horas de web > scraping por alguna razón da un error, este tiene que ver con el recorrido > de todas las opciones de un combo (serán 200), y en la mitad informa un > error relacionado con encontrar el id en HTML que tiene que recorrer > (aunque ya lo recorrió varias veces). Este error no supe solucionarlo, en > caso de no tener que llenar formularios HTML rvest suele ser más rápido. > > Javier Rubén Marcuzzi > Técnico en Industrias Lácteas > Veterinario > > *De:* Carlos Ortega <cof en qualityexcellence.es> > *Enviado el:* ?viernes?, ?05? de ?junio? de ?2015 ?08?:?49? ?a.m. > *Para:* jose luis cañadas <canadasreche en gmail.com> > *CC:* R-help-es en r-project.org <r-help-es en r-project.org> > > Hola José Luis, > > Además de lo que puso en su blog, Gregorio hizo una presentación muy clara > de cómo usar RSelenium en el grupo de R de Madrid. El video de lo que contó > es este: > > https://vimeo.com/96023824 > > Por si en él encuentras la clave.... > > Saludos, > Carlos Ortega > www.qualityexcellence.es > > > El 5 de junio de 2015, 13:28, José Luis Cañadas Reche < > canadasreche en gmail.com> escribió: > > > Hola. > > > > Tengo que bajarme varias tablas del INE y necesito interactuar con el > > navegador. Ví el fantástico post que escribió Gregorio Serrano (que la > > tierra le sea leve), en > > > http://www.grserrano.net/wp/2014/01/relenium-el-siguiente-nivel-de-web-scraping-con-r/ > > y estoy intentando reproducirlo para aprender como funciona relenium > > > > Pero relenium me da error después de > > > > if(!require(relenium)) install.packages("relenium") > > > > precios <- " > > > http://www.ine.es/jaxi/tabla.do?path=/t38/bme2/t07/a081/l0/&file=1300010.px&type=pcaxis&L=0 > > " > > > > firefox <- firefoxClass$new() > > > > Error in exceptionTable[, 1] : subíndice fuera de los límites > > > > Total que me he puesto a trastear con RSelenium, y consigo seleccionar > el > > elemento combobox pero no sé como obtener los valores que muestra ni como > > seleccionarlos. ¿Alguna idea? > > > > > > > > library(RSelenium) > > checkForServer() > > startServer() > > > > remDr <- remoteDriver(remoteServerAddr = "localhost" > > , port = 4444 > > , browserName = "firefox" > > ) > > > > remDr$open() > > > > > > remDr$navigate(precios) > > > > # buscar por id > > webElem1 <- remDr$findElement(using = 'id', value = 'cri1') > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es en r-project.org > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > > > -- > Saludos, > Carlos Ortega > www.qualityexcellence.es > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > >-- Saludos, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]]