similar to: Big data con R o phyton?

Hola. Últimamente ha habido en la lista varios hilos sobre análisis de grandes volúmenes de datos con R. Las alternativas que se han mencionado son: - Usar una máquina más potente, vía Amazon Web Services, por ejemplo - Paralelización con openMp - h2o y su paquete para R, - Paquete sparklyr como wrapper de los algoritmos de spark, Y por supuesto, utilizar muestreo o incluso si tenemos

Hola Carlos. spark_read_parquet es de sparklyr y necesita un sparkcontext inicializado para leer el fichero de parquet. El mié., 4 oct. 2017 22:11, Carlos Ortega <cof en qualityexcellence.es> escribió: > Hola José Luis, > > ¿Has probado directamente con "dplyr"?... > > spark_read_parquet >

Hace poco me puse al tema del big data y la verdad es que een este campo la decisión parece clara. Python ahora mismo está un paso por delante de R, aunque sparklyR puede igualar la contienda. Pero lo que me empieza a preocupar es que parece que si nos alejamos del Big Data, Python tb está ganando adeptos a pasos agigantados. ¿Está perdiendo R la batalla? [[alternative HTML version deleted]]

Hola buenas, me preguntaba si alguno usa hadoop Spark en su día día y si me podíais recomendar un buen curso para empezar. Estuve en la charla de meetup de madrid hace unos meses de Rspark y estuvo bien, ahora me preguntaba si es posible profundizar. Pero me gustaría tener recomendaciones de cualquier material que podáis recomendar, cursos de coursera que hayais hecho, libros que hayais leido,

On 4 September 2017 at 11:35, Suzen, Mehmet wrote: | It is not needed. There is a large community of developer using SparkR. | https://spark.apache.org/docs/latest/sparkr.html | It does exactly what you want. I hope you are not going to mail a sparkr commercial to this list every day. As the count is now at two, this may be an excellent good time to stop it. Dirk --

Hola Mª Luz, Te cuento un poco mi visión: Lo primero de todo es tener claro qué quiero hacer exactamente en paralelo, se me ocurren 3 escenarios: (1) Aplicar un modelo en este caso SVM sobre unos datos muy grandes y por eso necesito hadoop/spark (2) Realizar muchos modelos SVM sobre datos pequeños (por ejemplo uno por usuario) y por eso necesito hadoop/spark para parelilizar estos procesos

Dear R Developers, I would like to suggest the creation of a new S4 object class for On-Disk data.frames which do not fit in RAM memory, which could be called disk.data.frame() It could be based in rsqlite for example (By translating R syntax to SQL syntax for example), and the syntax and way of working of the disk.data.frame() class could be exactly the same than with data.frame objects. When

Aunque es un poco offtopic, creeis necesario aprender java para temas de bigdata o con python es suficiente Gracias Jesús [[alternative HTML version deleted]]

Un offtopic para empezar el fin de semana. Acabo de entrar en kaggle, hacia tiempo que no lo hacia, y veo con 'estupor' que practicamente la gente trabaja con python. Es cierto que la mayor parte de competiciones son usadas con redes neuronales, donde python si tiene ventaja frente a R, pero me da miedo ver como python para temas de machine learning parece estar ganando la partida...

Dear all, I skipped the old named of cent 0S 5.5. Build my own package bind 9.6.2. Now bind accepts update-policy ms-self! But samba_dnsupdate turned out: response to GSS-TSIG query was unsuccessful Do I have to grant rights? Or install something more? Greetings Daniel ----------------------------------------------- EDV Daniel M?ller Leitung EDV Tropenklinik Paul-Lechler-Krankenhaus

For all running in the same error: This solved my problem. In smb.conf --> interfaces = eth0 And all is up and running perfect!! Daniel ----------------------------------------------- EDV Daniel M?ller Leitung EDV Tropenklinik Paul-Lechler-Krankenhaus Paul-Lechler-Str. 24 72076 T?bingen Tel.: 07071/206-463, Fax: 07071/206-499 eMail: mueller at tropenklinik.de Internet: www.tropenklinik.de

Buenas a todos. Ya sé que con sparkR o sparklyr puedo leer fácilmente ficheros con formato parquet, pero ¿hay alguna forma de leerlos sin tener que arrancar spark? Mi situación es que tengo unos ficheros en formato parquet en s3 y quiero leerlos desde una instancia pequeñita de amazon EC2 que quiero mantener sin instalarle spark. Estoy bicheando la librería https://github.com/cloudyr/aws.s3 y va

Dear all, I compiled Samba 4.0.0alpha12 successful on my centos 5.5 box. Kerberos and DNS working as wanted. There is only a ugly ?error in dnsupdate. Samba_dnsupdate gives this error: Traceback (most recent call last): ? File "/usr/sbin/samba_dnsupdate", line 40, in ? ??? samba.ensure_external_module("dns", "dnspython") ? File

Si, Bueno en realidad, estamos en un curso de bigdata y estan haciendo mucha scosas con Java, pero yo intento pasarlo a Python tood, ya uqe me parece un lenguaje mucho mas simple y más parecido a R Y si, lo que quiero principalmente es aplicar machine learning sobre conjuntos de datos enormes. Alguna recomendación? ________________________________ De: Carlos Ortega <cof en

Buenas, ¿Cómo calculariais el punto de inflexion de esta curva marcado en rojo? [X] He probado de la siguiente manera: 1- Haciendo la segunda derivada:No me sirve, porque m edetecta muchas veces esos casos 2- Mirando si el siguiente valor es mayor que el anterior. No me vale, ya que si hay ruido, no lo va a detectar. 3. Mirando que el punto siguiente crezca respecto al anterior. No me

Buenas, Estoy intentando que al ejectuar un boton en shiny me cargue de manera asincrona dos consultas. Una es a una consulta sql pesada (tarda 10 segundos) y la otra es una sql ligera (tarda 0 segundos). Intento que el resultado de la consulta ligera se muestre mientras se espera al resulatdo de la consulta pesada, pero no lo consigo. Estoy usando promises con future, en linux, pero no me

Hola Miguel, Sí, no sé por qué pero en tu primer correo no te busqué en la red, pero lo acabo de hacer y claro que te conozco. Entonces el miércoles de la semana que viene lo hablamos en la reunión. Como hay otro tema del que también se quería hablar (el curso StatLearning) lo voy a poner en la agenda y así nos acordamos de todo. Gracias, Carlos Ortega www.qualityexcellence.es El 20 de

Buenas erreros!! Una cuestión de las que tengo ciertas dudas es saber en que se diferencian Spark y H2o, si son competencia, si valen para lo mismo o no.... Según lo poco que se, Spark es una manera de agilizar el Map-Reduce, y con la libreria MLlib, puedes hacer datamining de grandes datasheets, y si lo conectas con R o con Python, puedes usar ese lenguaje. H2O es una herramienta que nos

Revolution Analytics staff write about R every weekday at the Revolutions blog: http://blog.revolutionanalytics.com and every month I post a summary of articles from the previous month of particular interest to readers of r-help. In case you missed them, here are some articles related to R from the month of January: Princeton's Germ?n Rodr?guez has published a useful "Introduction to

"Does that help?" No. I am not your private consultant. You need to reply to the list, which I have cc'ed here, not just me. I am still somewhat confused by your specifications, but others may not be. Part of my confusion stems from your failure to provide a reproducible example (see e.g. the posting guide linked below). For example, I cannot tell from your text whether the Abc