Buenas a todos. Ya sé que con sparkR o sparklyr puedo leer fácilmente ficheros con formato parquet, pero ¿hay alguna forma de leerlos sin tener que arrancar spark? Mi situación es que tengo unos ficheros en formato parquet en s3 y quiero leerlos desde una instancia pequeñita de amazon EC2 que quiero mantener sin instalarle spark. Estoy bicheando la librería https://github.com/cloudyr/aws.s3 y va bien, pero no encuentro como leer ficheros parquet. Un saludo [[alternative HTML version deleted]]
Hola José Luis, ¿Has probado directamente con "dplyr"?... spark_read_parquet <https://spark.rstudio.com/reference/sparklyr/latest/spark_read_json.html> Saludos, Carlos Ortega www.qualityexcellence.es El 4 de octubre de 2017, 21:33, José Luis Cañadas <canadasreche en gmail.com> escribió:> Buenas a todos. > Ya sé que con sparkR o sparklyr puedo leer fácilmente ficheros con formato > parquet, pero ¿hay alguna forma de leerlos sin tener que arrancar spark? > > Mi situación es que tengo unos ficheros en formato parquet en s3 y quiero > leerlos desde una instancia pequeñita de amazon EC2 que quiero mantener sin > instalarle spark. > > Estoy bicheando la librería https://github.com/cloudyr/aws.s3 y va bien, > pero no encuentro como leer ficheros parquet. > > Un saludo > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es >-- Saludos, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]]
Hola Carlos. spark_read_parquet es de sparklyr y necesita un sparkcontext inicializado para leer el fichero de parquet. El mié., 4 oct. 2017 22:11, Carlos Ortega <cof en qualityexcellence.es> escribió:> Hola José Luis, > > ¿Has probado directamente con "dplyr"?... > > spark_read_parquet > <https://spark.rstudio.com/reference/sparklyr/latest/spark_read_json.html> > > Saludos, > Carlos Ortega > www.qualityexcellence.es > > > El 4 de octubre de 2017, 21:33, José Luis Cañadas <canadasreche en gmail.com> > escribió: > >> Buenas a todos. >> Ya sé que con sparkR o sparklyr puedo leer fácilmente ficheros con formato >> parquet, pero ¿hay alguna forma de leerlos sin tener que arrancar spark? >> >> Mi situación es que tengo unos ficheros en formato parquet en s3 y quiero >> leerlos desde una instancia pequeñita de amazon EC2 que quiero mantener >> sin >> instalarle spark. >> >> Estoy bicheando la librería https://github.com/cloudyr/aws.s3 y va bien, >> pero no encuentro como leer ficheros parquet. >> >> Un saludo >> >> [[alternative HTML version deleted]] >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es >> > > > > -- > Saludos, > Carlos Ortega > www.qualityexcellence.es >[[alternative HTML version deleted]]