search for: sparklyr

Hola Carlos. spark_read_parquet es de sparklyr y necesita un sparkcontext inicializado para leer el fichero de parquet. El mié., 4 oct. 2017 22:11, Carlos Ortega <cof en qualityexcellence.es> escribió: > Hola José Luis, > > ¿Has probado directamente con "dplyr"?... > > spark_read_parquet > <https://spark.r...

Estimados En el sitio de https://www.rstudio.com/ hay un aviso sobre http://spark.rstudio.com/index.html ( sparklyr ). Microsoft publico un artículo donde comparan el R Server que está dentro de SQL server (o por separado, depende un poco), o el Microsoft R, junto con algunas librerías que se pueden compilar y obtener lo mismo en Ubuntu. Supongamos que tengo el dinero como para comprar por ejemplo http://www.i...

...mérica del sur comienza la primavera, desde la ventana miro la parra contando las posibles uvas, siempre aparece un ave que se arrima a la ventana o incluso llegan hasta la computadora como si supiesen usarla. Ahora en R. En ese esquema un modelo lineal tendría que ir con mlib que es aportada por sparklyr, en ese caso tendría toda la capacidad de proceso, pero no en un ml tradicional como modelo <- lm (y ~ var1 + var2). En otras palabras http://spark.rstudio.com/mllib.html aporta beneficios, pero lo que está por fuera correría como el R de CRAN con un hilo del procesador. Los otros días vi el v...

Buenas a todos. Ya sé que con sparkR o sparklyr puedo leer fácilmente ficheros con formato parquet, pero ¿hay alguna forma de leerlos sin tener que arrancar spark? Mi situación es que tengo unos ficheros en formato parquet en s3 y quiero leerlos desde una instancia pequeñita de amazon EC2 que quiero mantener sin instalarle spark. Estoy bichean...

...ing), ahí tienen sus algoritmos propietarios que puedes complementarlos con "R" y gran parte de las librerías que están en CRAN. ? En este caso, en lo que te ayuda estar en su cloud si quieres usar sólo la parte de "R" es en tener por debajo máquinas con mucha RAM. ? Lo de "sparklyr": o Si te montas varias máquinas en un clúster como dices e instalas Linux sobre el que pones Hadoop y Spark puedes con esta librería de RStudio trabajar en modo distribuido. ? El configurar un clúster de este tipo no es trivial....hay ejemplos comentado por ahí de cómo hacerlo en EC2 Amazon....

Hi, I am using Spark and the Sparklyr library in R. I have a file with several lines. For example A B C awer.ttp.net Code 554 abcd.ttp.net Code 747 asdf.ttp.net Part 554 xyz.ttp.net Part 747 I want to split just column A of the table and I want a new row added to the table D, with va...

Hola, Quizás no es el ámbito más apropiado, pero vale la pena intentar. ¿Existe alguna implementación en R del modelo de reglas de asociación que pueda realizar el cálculo en paralelo sobre un cluster Hadoop? He visto los paquetes que 'paralelizan' R, pero no mencionan nada acerca de modelos de reglas de asociación. Saludos -- Oscar Benitez [[alternative HTML version deleted]]

Hace poco me puse al tema del big data y la verdad es que een este campo la decisión parece clara. Python ahora mismo está un paso por delante de R, aunque sparklyR puede igualar la contienda. Pero lo que me empieza a preocupar es que parece que si nos alejamos del Big Data, Python tb está ganando adeptos a pasos agigantados. ¿Está perdiendo R la batalla? [[alternative HTML version deleted]]

...ot;awe", "abcd", "asdf", "xyz" ) dta2 <- dta2[ , c( "A", "D" ) ] -- Sent from my phone. Please excuse my brevity. On June 22, 2017 11:22:57 AM PDT, Amrith Deepak <adeepak at apple.com> wrote: >Hi, > >I am using Spark and the Sparklyr library in R. > >I have a file with several lines. For example > >A B C >awer.ttp.net Code 554 >abcd.ttp.net Code 747 >asdf.ttp.net Part 554 >xyz.ttp.net Part 747 >I want to split just column A of the table and I want a n...

...lyze the content and presentation of the most recent State of the Union speech from the US president: http://blog.revolutionanalytics.com/2018/01/trump-sotu.html Slides for my presentation "Speeding up R with Parallel Processing in the Cloud", with applications of the doAzureParallel and sparklyr packages: http://blog.revolutionanalytics.com/2018/01/r-parallel-cloud.html An example of using the doAzureParallel package to speed up a statistical simulation: http://blog.revolutionanalytics.com/2018/01/doazureparallel-simulations.html 5 lines of R code to create a list of US Representatives f...

....html Left out several Task Views since they might be probably too "ordinary", but you should look at all of them: https://cran.r-project.org/web/views/ Other websites possibly outlining areas of possible difference: https://tensorflow.rstudio.com/ https://blog.rstudio.com/2016/09/27/sparklyr-r-interface-for-apache-spark/ https://spark.rstudio.com/reference/sparklyr/latest/ml_multilayer_perceptron.html https://communities.sas.com/t5/SAS-IML-Software-and-Matrix/TensorFlow-MNIST/td-p/318708 https://thomaswdinsmore.com/2017/04/05/sas-peddles-open-source-fud/ -- David Winsemius Alame...

Hi, and sorry for asking such an unspecific question. Does anybody know of statistical / data mining methods that are available in R that are not in SAS ? With SAS I mean the SAS System Version 9.4 and SAS Enterprise Miner. I don't expect a complete list, just two or three examples or hints where and what to look for. I found some older comparisons, and the R methods mentioned there

Hola, El pasado jueves 15-diciembre, celebramos una nueva reunión del "Grupo de Usuarios de R de Madrid". En esta ocasión pudimos contar con la participación de Javier Luraschi (RStudio) autor del paquete "sparklyr". El video y su presentación ya están disponibles en el portal del Grupo: http://madrid.r-es.org/40-jueves-15-de-diciembre-2016/ Gracias y felices fiestas, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]]

> On Jun 22, 2017, at 11:22 AM, Amrith Deepak <adeepak at apple.com> wrote: > > Hi, > > I am using Spark and the Sparklyr library in R. > > I have a file with several lines. For example > > A B C > awer.ttp.net Code 554 > abcd.ttp.net Code 747 > asdf.ttp.net Part 554 > xyz.ttp.net Part 747 > I want to split just column A of the table and I...

Hola. Últimamente ha habido en la lista varios hilos sobre análisis de grandes volúmenes de datos con R. Las alternativas que se han mencionado son: - Usar una máquina más potente, vía Amazon Web Services, por ejemplo - Paralelización con openMp - h2o y su paquete para R, - Paquete sparklyr como wrapper de los algoritmos de spark, Y por supuesto, utilizar muestreo o incluso si tenemos grandes volúmenes de datos, utilizar varias muestras para ajustar los modelos. A todo esto, se añade ahora la disponibilidad en SparkR de los algoritmos de spark (en la versión 2.1 de spark liberada ha...

...volutionanalytics.com/2018/02/r-consortium-milestone.html Microsoft R Client 3.4.3 and Microsoft ML Server 9.3, both built with R 3.4.3, have been released: http://blog.revolutionanalytics.com/2018/02/mrclient343.html An 8-step, 5-minute tutorial for setting up a cluster in Azure for use with the sparklyr package: http://blog.revolutionanalytics.com/2018/02/aztk-sparklyr.html A smartphone app uses R and the keras package to identify "spells" using accelerometer data http://blog.revolutionanalytics.com/2018/02/accelerometers.html "Machine Learning with R and Tensorflow", JJ Alla...

...ed as a local variable. Thanks, Amrith > On Jun 22, 2017, at 4:15 PM, David Winsemius <dwinsemius at comcast.net> wrote: > > >> On Jun 22, 2017, at 11:22 AM, Amrith Deepak <adeepak at apple.com> wrote: >> >> Hi, >> >> I am using Spark and the Sparklyr library in R. >> >> I have a file with several lines. For example >> >> A B C >> awer.ttp.net Code 554 >> abcd.ttp.net Code 747 >> asdf.ttp.net Part 554 >> xyz.ttp.net Part 747 >> I want to sp...

...ítico es usar H2O. Con H2O al leer el fichero haces > una lectura distribuida, al igual que si realizas cualquier tipo de > análisis (modelización) lo haces de forma distribuida (en todos tus nodos). > > Otra alternativa que también recomienda Cloudera es utilizar RStudio con > "sparklyr" y realizar el procesamiento en Spark. Mira el detalles en la > página que tiene RStudio de este paquete (que están desarrollando ellos > mismos). > > Si tus datos no son "enormes" puedes perfectamente probar a trabajar sobre > una máquina con mucha RAM y te ahorras to...

Merece la pena aprender python para Big data con Spark o usando la libreria que acaba de salir para R es suficiente? Qué creeis? [[alternative HTML version deleted]]

Buenas Os queria preguntar que ventaja le veis a las tibbles frente a los data.table, ya que para mi, quitando el uso de librerias como tidyr o purrr, en el resto prefiero usar data.table. Me parece igual de potente y mucho más rápido, y no le veo las supuestas ventajas, pero quiero conocer vuestra opinion. Gracias Jesús [[alternative HTML version deleted]]