similar to: Cargar csv de 16GB en R

Estoy de acuerdo con la observación de Joan, yo supe utilizar formas para trabajar con más memoria de la configurada como base, pero tengamos en cuenta que una vez importados los datos, cualquier operación estará entre la memoria física y la virtual, es todo un desafío y dependerá del análisis estadístico (me refiero a los algoritmos que ordenen al CPU). Mi experiencia cuándo trabaje con muchos

Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria RAM + Virtual. Yo he trabajado con data frames mayores que la memoria física. Es cierto que esto ralentiza las operaciones. Lo que marca realmente los límites de la memoria es la versión del sistema operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el direccionamiento teórico máximo es de 4 Gbytes, pero

No soy experto en data mining con R, sé que existe algún paquete al respecto, pero no sé si R sería lo más adecuado para cantidades ingentes de datos… Saludos, Juan Carmona. De: Eduardo Bieñkowski [mailto:edukoski@gmail.com] Enviado el: miércoles, 04 de junio de 2014 17:07 Para: Joan Carmona CC: Isidro Hidalgo; r-help-es Asunto: Re: [R-es] Cargar csv de 16GB en R Si pero que pasaría

Hola, ¿qué tal? Al final he descubierto el motivo del problema. Cierto que esperaba cierto nivel de _overhead_, pero nunca tantísimo. Por mucho _overhead_ que haya, no se pasa de 7MB a 5GB. El problema era que (a pesar de mi opción stringsAsFactors = F) los niveles de los factores se copiaban íntegros en cada una de las columnas de tipo factor de cada una de las tablas resultantes. Aunque no se

Hola, ¿qué tal? Hace poco vi que Google había hecho pública su guía de estilo interna para programar en R: http://google-styleguide.googlecode.com/svn/trunk/google-r-style.html Me tomé la libertad de traducirla: http://datanalytics.com/guia_estilo_r.html Cuanto más pienso en ella, más carencias veo. Escribí sobre ello en mi blog (

Javier, R también tiene opciones de "debug" como la que estás comentando. Te adjunto un ejemplo práctico: http://www.burns-stat.com/an-r-debugging-example/?utm_source=rss&utm_medium=rss&utm_campaign=an-r-debugging-example Saludos, Carlos Ortega www.qualityexcellence.es El 13 de junio de 2013 21:45, Marcuzzi, Javier Rubén < javier.ruben.marcuzzi@gmail.com> escribió:

Interesante... y preocupante. No propuso alguien, no hace mucho, reescribir R desde el principio por este tipo de cosas? El 13/06/13 20:04, Carlos Ortega escribió: > Hola, > > Si este comportamiento se ve con cualquier data.frame que luego conviertas > a lista: > >> >> v <- 1:10 >> w <- split(v, 1:2) >> w > $`1` > [1] 1 3 5 7 9 > > $`2`

Hola, ¿qué tal? Lo que quieres es un "debugger visual" (como el de muchos IDEs, incluyendo Netbeans y Eclipse) para R, como el de Revolution, http://www.youtube.com/watch?feature=player_embedded&v=7shLKEINM9A#! Pues sí, efectivamente, existe, pero solo con la versión de Revolutions de R. Y verás también que está basado en el "debugger" tradicional de R, que permite

Hola, Tengo la base de datos de un censo agropecuario el cual está en formato de SPSS, cuando cuando ejecuto el comando para introducirlo a R, despues de permanecer lento R, aparece esto: Error: cannot allocate vector of size 1.6 Mb Hasta aquí llega y no introduce ninguna observación. Mi pregunta es si existe alguna solución, talvez aumentar la memoria de R?? Imagino que como ustedes han

Hello, I submitted a small package, colbycol, to CRAN. I developed it on Linux and tested it on my Linux box and another Windows machine. Besides, other people kindly tested it in their systems. The package seems to "compile" correctly in r-forge for Windows. In fact, you can find the binary package at http://r-forge.r-project.org/R/?group_id=426. However, in CRAN, the Windows

I have a humongous csv file containing census data, far too big to read into RAM. I have been trying to extract individual columns from this file using the colbycol package. This works for certain subsets of the columns, but not for others. I have not yet been able to precisely identify the problem columns, as there are 731 columns and running colbycol on the file on my old slow machine takes

Buenas, Quiero hacer una ingesta de datos en una base de datos de un servidor. El proceso es hacer una consulta en la base de datos, que me dice uqe columnas tengo que coger. Una vez hecha dicha consulta, abrir un csv, coger las columnas que me indicaba esa base de datos y subir el dato concreto del csv a una base de datos. Estoy pensando en usar Apache Flume o similar, pero es en un servidor

Hola Estoy ahora mismo en el MADData <http://www.maddata.es/>, y en proceso de hacer un Shiny, quiero meterle un mapa con los puntos de medida del tráfico y el tráfico. Pero como novato quería ver si me recomendais alguna librería para hacer mapas y embeberlos en shiny, ya sea googlemaps, leaflet, cartodb... y cualquier enlace a buena documentación es muy bien recibido! :-) Miguel

rm(list = ls()) #borra todo lo anterior en memoria setwd("G:/Public/Documents/R/EPICALC/") #como se llama la data desde su path sanda<-read.csv("sandavid2.csv",header=TRUE, sep=",", dec=".") use(sanda) attach (sanda) library (MASS) label.cronbach <- label.var(p01, "¿Consume mucho pan? ") ####¿Hay alguna manera de nombrarlos

Hola usuarios de R, Antes de nada presentarme, soy nuevo en R (antiguo... y bueno actual usuario de SAS), llevo menos de un mes y estoy intentando empezar con pequeñas cosas. Hay un tema que me está llevando bastante tiempo y por más que investigo y hago pruebas no logro saber como se hace; veréis tengo un data.frame el cuál tiene bastante variables y todas ellas clasificadas como char, sin

Buenas para tod en s, tengo una consulta para poder optimizar tiempos. Ejemplo tengo el siguiente dataframe: distrito<-c("A","A","A","B","B","B","C","C","C","A","A","B","B","C")

Hola, ¿qué tal? Voy a plantear una pregunta que no creo que sea enteramente relacionada con R. Incluso pudiera ser una pregunta que tuviera que ver más con Windows y su gestión de memoria. Tengo una función foo que toma un argumento numérico y devuelve otro número. Durante el proceso crea un objeto muy grande. La llamo muchas veces haciendo algo así como: resultados <- sapply( entradas, foo

Hola a todos. Tengo un problema y quería saber si hay alguna solución más allá de ampliar la memoria del ordenador. El caso es que tengo un script en el que voy generando datos... y al final tengo unos ficheros enormes que tarde o temprano me dan errores de memoria (en especial cuando los exporto a excel con XLConnect) Yo suponía que si en R borraba una variable con rm() el espacio de memoria

Hola! Quiero empezar a georeferenciar en mapas con R. En blogs se encuentra bastante información pero veo que no hay unanimidad respecto a las librerías a utilizar ni tampoco la información es muy clara ni abarcativa. ¿Alguno/a trabaja con mapas en R y me puede indicar por donde encarar? En principio mi interés es realizar mapas sencillos con información por provincias y departamentos de

Y aún así veremos si puedes apañarte... R no es muy buen gestor de memoria. Además de lo que te ha dicho Carlos, lo mejor es "programar bien", sabiendo cuando R hace copias de los objetos (cosa que hace muy a menudo), para evitarlo al máximo. Otra cosa que puede hacerse es "adelgazar los objetos" si no necesitas mucha de la información que contienen. Por ejemplo, si haces un