search for: trocear

...pasos en R y una de las cosas que tengo que hacer es trabajar con un csv de 16 GB. Consta de 10 columnas, 7 númericas He probado varias cosas entre ellas  los paquetes  'colbycol', data.table, ff , etc,  pero nada, mi ordenador de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 ¿Debo trocear previamente el csv,me recomendais algún paquete en especial, etc para trabajar con un fichero tan pesado, otra solución?... Muchas gracias [[alternative HTML version deleted]]

...> hacer es trabajar con un csv de 16 GB. Consta de 10 columnas, 7 númericas > He > probado varias cosas entre ellas los paquetes 'colbycol', data.table, ff > , > etc, pero nada, mi ordenador de queda frito. Por cierto, tiene 8GB de RAM > y > Windows 8 > > ¿Debo trocear previamente el csv,me recomendais algún paquete en especial, > etc para trabajar con un fichero tan pesado, otra solución?... > > Muchas gracias > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-he...

...haya, no se pasa de 7MB a 5GB. El problema era que (a pesar de mi opción stringsAsFactors = F) los niveles de los factores se copiaban íntegros en cada una de las columnas de tipo factor de cada una de las tablas resultantes. Aunque no se usasen. He convertido los factores a caracter, he vuelto a trocear el df resultante y el resultado ha sido: > object.size(empresas) 33052680 bytes > object.size(loans) 3813944 bytes Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en un orden de magnitud (asumible), no en tres o cuatro (no asumible). ¿Seré yo el único al que los dichoso...

...rabajar con un csv de 16 GB. Consta de 10 > > columnas, 7 númericas He probado varias cosas entre ellas los > > paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador > > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 > > > > ¿Debo trocear previamente el csv,me recomendais algún paquete en > > especial, etc para trabajar con un fichero tan pesado, otra > solución?... > > > > Muchas gracias > > [[alternative HTML version deleted]] > > > > _______________________________________________...

...t; > El problema era que (a pesar de mi opción stringsAsFactors = F) los > niveles de los factores se copiaban íntegros en cada una de las > columnas de tipo factor de cada una de las tablas resultantes. Aunque > no se usasen. > > He convertido los factores a caracter, he vuelto a trocear el df > resultante y el resultado ha sido: > >> object.size(empresas) > > 33052680 bytes >> >> object.size(loans) > > 3813944 bytes > > Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en > un orden de magnitud (asumible), no en tres o...

...t; > El problema era que (a pesar de mi opción stringsAsFactors = F) los > niveles de los factores se copiaban íntegros en cada una de las > columnas de tipo factor de cada una de las tablas resultantes. Aunque > no se usasen. > > He convertido los factores a caracter, he vuelto a trocear el df > resultante y el resultado ha sido: > > object.size(empresas) >> > 33052680 bytes > >> object.size(loans) >> > 3813944 bytes > > Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en > un orden de magnitud (asumible), no en tres...

...s trabajar con un csv de 16 GB. Consta de 10 > > columnas, 7 númericas He probado varias cosas entre ellas los > > paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador > > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 > > > > ¿Debo trocear previamente el csv,me recomendais algún paquete en > > especial, etc para trabajar con un fichero tan pesado, otra > solución?... > > > > Muchas gracias > > [[alternative HTML version deleted]] > > > > _______________________________________________...

...haya, no se pasa de 7MB a 5GB. El problema era que (a pesar de mi opción stringsAsFactors = F) los niveles de los factores se copiaban íntegros en cada una de las columnas de tipo factor de cada una de las tablas resultantes. Aunque no se usasen. He convertido los factores a caracter, he vuelto a trocear el df resultante y el resultado ha sido: > object.size(empresas) 33052680 bytes > object.size(loans) 3813944 bytes Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en un orden de magnitud (asumible), no en tres o cuatro (no asumible). ¿Seré yo el único al que los dichoso...

Interesante... y preocupante. No propuso alguien, no hace mucho, reescribir R desde el principio por este tipo de cosas? El 13/06/13 20:04, Carlos Ortega escribió: > Hola, > > Si este comportamiento se ve con cualquier data.frame que luego conviertas > a lista: > >> >> v <- 1:10 >> w <- split(v, 1:2) >> w > $`1` > [1] 1 3 5 7 9 > > $`2`