similar to: Big data con R

Hace poco me puse al tema del big data y la verdad es que een este campo la decisión parece clara. Python ahora mismo está un paso por delante de R, aunque sparklyR puede igualar la contienda. Pero lo que me empieza a preocupar es que parece que si nos alejamos del Big Data, Python tb está ganando adeptos a pasos agigantados. ¿Está perdiendo R la batalla? [[alternative HTML version deleted]]

Hola Mª Luz, Te cuento un poco mi visión: Lo primero de todo es tener claro qué quiero hacer exactamente en paralelo, se me ocurren 3 escenarios: (1) Aplicar un modelo en este caso SVM sobre unos datos muy grandes y por eso necesito hadoop/spark (2) Realizar muchos modelos SVM sobre datos pequeños (por ejemplo uno por usuario) y por eso necesito hadoop/spark para parelilizar estos procesos

Buenas erreros!! Una cuestión de las que tengo ciertas dudas es saber en que se diferencian Spark y H2o, si son competencia, si valen para lo mismo o no.... Según lo poco que se, Spark es una manera de agilizar el Map-Reduce, y con la libreria MLlib, puedes hacer datamining de grandes datasheets, y si lo conectas con R o con Python, puedes usar ese lenguaje. H2O es una herramienta que nos

Merece la pena aprender python para Big data con Spark o usando la libreria que acaba de salir para R es suficiente? Qué creeis? [[alternative HTML version deleted]]

Estimado Carlos Gil Bellosta ¿Cómo está usted? En estos lados de América del sur comienza la primavera, desde la ventana miro la parra contando las posibles uvas, siempre aparece un ave que se arrima a la ventana o incluso llegan hasta la computadora como si supiesen usarla. Ahora en R. En ese esquema un modelo lineal tendría que ir con mlib que es aportada por sparklyr, en ese caso tendría

Buenas a todos. Ya sé que con sparkR o sparklyr puedo leer fácilmente ficheros con formato parquet, pero ¿hay alguna forma de leerlos sin tener que arrancar spark? Mi situación es que tengo unos ficheros en formato parquet en s3 y quiero leerlos desde una instancia pequeñita de amazon EC2 que quiero mantener sin instalarle spark. Estoy bicheando la librería https://github.com/cloudyr/aws.s3 y va

Estimado Carlos Ortega Comprendo que hay que tener el paquete compilado para acceder al alto rendimiento, por lo cuál si está todo preparado para trabajar en un clúster y para aprovechar múltiples hilos, no habría problemas, calculo que si una librería no tiene esa tecnología no traería inconvenientes, ¿o por el contrario si está distribuido crea varias instancias y al correr separadas hay

Hola Carlos. spark_read_parquet es de sparklyr y necesita un sparkcontext inicializado para leer el fichero de parquet. El mié., 4 oct. 2017 22:11, Carlos Ortega <cof en qualityexcellence.es> escribió: > Hola José Luis, > > ¿Has probado directamente con "dplyr"?... > > spark_read_parquet >

On 4 September 2017 at 11:35, Suzen, Mehmet wrote: | It is not needed. There is a large community of developer using SparkR. | https://spark.apache.org/docs/latest/sparkr.html | It does exactly what you want. I hope you are not going to mail a sparkr commercial to this list every day. As the count is now at two, this may be an excellent good time to stop it. Dirk --

Que es postgres y presto?? Se uqe google tiene la respuesta,.... ________________________________ De: José Luis Cañadas <canadasreche en gmail.com> Enviado: miércoles, 22 de noviembre de 2017 22:01 Para: Jesús Para Fernández Cc: Carlos Ortega; r-help-es en r-project.org Asunto: Re: [R-es] Tibble o data.table? Yo la ventaja que le veo a tibble y demás cosas del mundo tidy es la conexión a

Dear R Developers, I would like to suggest the creation of a new S4 object class for On-Disk data.frames which do not fit in RAM memory, which could be called disk.data.frame() It could be based in rsqlite for example (By translating R syntax to SQL syntax for example), and the syntax and way of working of the disk.data.frame() class could be exactly the same than with data.frame objects. When

Hola, Puedes poner un RStudio en Amazon, poner "caret" y a correr.... No sé si tendrás suficiente con lo que te pueda ofrecer Amazon para tu problema... creo que sí... ;-).... O directamente hacerlo aquí, que toda esta instalación ya la tienen hecha: http://www.teraproc.com/front-page-posts/r-on-demand/ Gracias, Carlos. El 10 de diciembre de 2015, 14:43, MªLuz Morales <mlzmrls

Hola buenas, me preguntaba si alguno usa hadoop Spark en su día día y si me podíais recomendar un buen curso para empezar. Estuve en la charla de meetup de madrid hace unos meses de Rspark y estuvo bien, ahora me preguntaba si es posible profundizar. Pero me gustaría tener recomendaciones de cualquier material que podáis recomendar, cursos de coursera que hayais hecho, libros que hayais leido,

Un offtopic para empezar el fin de semana. Acabo de entrar en kaggle, hacia tiempo que no lo hacia, y veo con 'estupor' que practicamente la gente trabaja con python. Es cierto que la mayor parte de competiciones son usadas con redes neuronales, donde python si tiene ventaja frente a R, pero me da miedo ver como python para temas de machine learning parece estar ganando la partida...

Estimados En el sitio de https://www.rstudio.com/ hay un aviso sobre http://spark.rstudio.com/index.html ( sparklyr ). Microsoft publico un artículo donde comparan el R Server que está dentro de SQL server (o por separado, depende un poco), o el Microsoft R, junto con algunas librerías que se pueden compilar y obtener lo mismo en Ubuntu. Supongamos que tengo el dinero como para comprar por

Buenas, He probado a intentar graficar mas de 700.000 puntos y es una locura. No doy con una libreria que consiga graficar grandes volumenes de datos. ?Existe alguna en R? Gracias Jes?s [[alternative HTML version deleted]]

H2O va bien (muy bien) tanto en un ordenador sobremesa/portátil y sobre un clúster. En uno de sobremesa si tienes buena RAM y muchos cores, mejor. Y no tienes porqué usar Spark si no necesitas una solución tiempo real o "near real-time". H2O tiene otra solución para interaccionar con Spark (Sparkling Water). Incluso sobre un clúster, puedes usar "sparklyr" y

Revolution Analytics staff write about R every weekday at the Revolutions blog: http://blog.revolutionanalytics.com and every month I post a summary of articles from the previous month of particular interest to readers of r-help. In case you missed them, here are some articles related to R from the month of January: Princeton's Germ?n Rodr?guez has published a useful "Introduction to

Buenos días, alguien sabe si hay alguna manera de implementar una máquina de soporte vectorial (svm) con R-hadoop?? Mi interés es hacer procesamiento big data con svm. Se que en R, existen los paquetes {RtextTools} y {e1071} que permiten hacer svm. Pero no estoy segura de que el algoritmo sea paralelizable, es decir, que pueda correr en paralelo a través de la plataforma R-hadoop. Muchas

Antes de nada, me gustaría daros las gracias por toda vuestra ayuda. He estado probando todo lo que me habéis dicho a la vez, y no hay manera, sigo teniendo el problema con el espacio. En cuanto al tamaño de la base de datos, es más grande de lo que puse, me equivoqué y puse el tamaño de una base anterior con la que estuve trabajando, la actual tiene 36866 filas x 6500 columnas. He seguido todas