similar to: Big data con R

Hace poco me puse al tema del big data y la verdad es que een este campo la decisión parece clara. Python ahora mismo está un paso por delante de R, aunque sparklyR puede igualar la contienda. Pero lo que me empieza a preocupar es que parece que si nos alejamos del Big Data, Python tb está ganando adeptos a pasos agigantados. ¿Está perdiendo R la batalla? [[alternative HTML version deleted]]

Hola Mª Luz, Te cuento un poco mi visión: Lo primero de todo es tener claro qué quiero hacer exactamente en paralelo, se me ocurren 3 escenarios: (1) Aplicar un modelo en este caso SVM sobre unos datos muy grandes y por eso necesito hadoop/spark (2) Realizar muchos modelos SVM sobre datos pequeños (por ejemplo uno por usuario) y por eso necesito hadoop/spark para parelilizar estos procesos

Buenas a todos. Ya sé que con sparkR o sparklyr puedo leer fácilmente ficheros con formato parquet, pero ¿hay alguna forma de leerlos sin tener que arrancar spark? Mi situación es que tengo unos ficheros en formato parquet en s3 y quiero leerlos desde una instancia pequeñita de amazon EC2 que quiero mantener sin instalarle spark. Estoy bicheando la librería https://github.com/cloudyr/aws.s3 y va

Hola Carlos. spark_read_parquet es de sparklyr y necesita un sparkcontext inicializado para leer el fichero de parquet. El mié., 4 oct. 2017 22:11, Carlos Ortega <cof en qualityexcellence.es> escribió: > Hola José Luis, > > ¿Has probado directamente con "dplyr"?... > > spark_read_parquet >

Merece la pena aprender python para Big data con Spark o usando la libreria que acaba de salir para R es suficiente? Qué creeis? [[alternative HTML version deleted]]

Estimado Carlos Ortega Comprendo que hay que tener el paquete compilado para acceder al alto rendimiento, por lo cuál si está todo preparado para trabajar en un clúster y para aprovechar múltiples hilos, no habría problemas, calculo que si una librería no tiene esa tecnología no traería inconvenientes, ¿o por el contrario si está distribuido crea varias instancias y al correr separadas hay

Estimado Carlos Gil Bellosta ¿Cómo está usted? En estos lados de América del sur comienza la primavera, desde la ventana miro la parra contando las posibles uvas, siempre aparece un ave que se arrima a la ventana o incluso llegan hasta la computadora como si supiesen usarla. Ahora en R. En ese esquema un modelo lineal tendría que ir con mlib que es aportada por sparklyr, en ese caso tendría

Buenas erreros!! Una cuestión de las que tengo ciertas dudas es saber en que se diferencian Spark y H2o, si son competencia, si valen para lo mismo o no.... Según lo poco que se, Spark es una manera de agilizar el Map-Reduce, y con la libreria MLlib, puedes hacer datamining de grandes datasheets, y si lo conectas con R o con Python, puedes usar ese lenguaje. H2O es una herramienta que nos

Que es postgres y presto?? Se uqe google tiene la respuesta,.... ________________________________ De: José Luis Cañadas <canadasreche en gmail.com> Enviado: miércoles, 22 de noviembre de 2017 22:01 Para: Jesús Para Fernández Cc: Carlos Ortega; r-help-es en r-project.org Asunto: Re: [R-es] Tibble o data.table? Yo la ventaja que le veo a tibble y demás cosas del mundo tidy es la conexión a

On 4 September 2017 at 11:35, Suzen, Mehmet wrote: | It is not needed. There is a large community of developer using SparkR. | https://spark.apache.org/docs/latest/sparkr.html | It does exactly what you want. I hope you are not going to mail a sparkr commercial to this list every day. As the count is now at two, this may be an excellent good time to stop it. Dirk --

Dear R Developers, I would like to suggest the creation of a new S4 object class for On-Disk data.frames which do not fit in RAM memory, which could be called disk.data.frame() It could be based in rsqlite for example (By translating R syntax to SQL syntax for example), and the syntax and way of working of the disk.data.frame() class could be exactly the same than with data.frame objects. When

Estimados En el sitio de https://www.rstudio.com/ hay un aviso sobre http://spark.rstudio.com/index.html ( sparklyr ). Microsoft publico un artículo donde comparan el R Server que está dentro de SQL server (o por separado, depende un poco), o el Microsoft R, junto con algunas librerías que se pueden compilar y obtener lo mismo en Ubuntu. Supongamos que tengo el dinero como para comprar por

Hola buenas, me preguntaba si alguno usa hadoop Spark en su día día y si me podíais recomendar un buen curso para empezar. Estuve en la charla de meetup de madrid hace unos meses de Rspark y estuvo bien, ahora me preguntaba si es posible profundizar. Pero me gustaría tener recomendaciones de cualquier material que podáis recomendar, cursos de coursera que hayais hecho, libros que hayais leido,

Hola, Puedes poner un RStudio en Amazon, poner "caret" y a correr.... No sé si tendrás suficiente con lo que te pueda ofrecer Amazon para tu problema... creo que sí... ;-).... O directamente hacerlo aquí, que toda esta instalación ya la tienen hecha: http://www.teraproc.com/front-page-posts/r-on-demand/ Gracias, Carlos. El 10 de diciembre de 2015, 14:43, MªLuz Morales <mlzmrls

Buenas, He probado a intentar graficar mas de 700.000 puntos y es una locura. No doy con una libreria que consiga graficar grandes volumenes de datos. ?Existe alguna en R? Gracias Jes?s [[alternative HTML version deleted]]

Un offtopic para empezar el fin de semana. Acabo de entrar en kaggle, hacia tiempo que no lo hacia, y veo con 'estupor' que practicamente la gente trabaja con python. Es cierto que la mayor parte de competiciones son usadas con redes neuronales, donde python si tiene ventaja frente a R, pero me da miedo ver como python para temas de machine learning parece estar ganando la partida...

Hi, I am using Spark and the Sparklyr library in R. I have a file with several lines. For example A B C awer.ttp.net Code 554 abcd.ttp.net Code 747 asdf.ttp.net Part 554 xyz.ttp.net Part 747 I want to split just column A of the table and I want a new row added to the table D, with values awe, abcd, asdf, and xyz. I am trying to use a command in

Rows are horizontal, columns are vertical. You really need to spend some time with an R tutorial. dta <- read.table( "yourfile", header=TRUE, as.is=TRUE ) dta2 <- dta dta2$D <- c( "awe", "abcd", "asdf", "xyz" ) dta2 <- dta2[ , c( "A", "D" ) ] -- Sent from my phone. Please excuse my brevity. On June 22, 2017

This function won?t work with objects in spark as you can?t do a dfda$a in spark as it?s not stored as a local variable. Thanks, Amrith > On Jun 22, 2017, at 4:15 PM, David Winsemius <dwinsemius at comcast.net> wrote: > > >> On Jun 22, 2017, at 11:22 AM, Amrith Deepak <adeepak at apple.com> wrote: >> >> Hi, >> >> I am using Spark and the

> On Jun 22, 2017, at 11:22 AM, Amrith Deepak <adeepak at apple.com> wrote: > > Hi, > > I am using Spark and the Sparklyr library in R. > > I have a file with several lines. For example > > A B C > awer.ttp.net Code 554 > abcd.ttp.net Code 747 > asdf.ttp.net Part 554 > xyz.ttp.net Part 747 > I