search for: sparkdatafram

R-Help I'm working in my first large database (53,098,492,383 records). When I select the db via something like Library(SparkR) mydata <- sql("SELECT * FROM <table name>") is "mydata" a SparkDataFrame, and do I work with SparkDataFrames like I would regular df (per say); because I can't image I would ever create a 53 billion record df. I'm starting to acquaint myself with e SparkR package, but I get confuse because it appears df and SparkDtaFrame are use interchangeable. Or maybe not....

Hola. Últimamente ha habido en la lista varios hilos sobre análisis de grandes volúmenes de datos con R. Las alternativas que se han mencionado son: - Usar una máquina más potente, vía Amazon Web Services, por ejemplo - Paralelización con openMp - h2o y su paquete para R, - Paquete sparklyr como wrapper de los algoritmos de spark, Y por supuesto, utilizar muestreo o incluso si tenemos