Carlos J. Gil Bellosta
2013-Jun-13 19:26 UTC
[R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
Hola, ¿qué tal? Al final he descubierto el motivo del problema. Cierto que esperaba cierto nivel de _overhead_, pero nunca tantísimo. Por mucho _overhead_ que haya, no se pasa de 7MB a 5GB. El problema era que (a pesar de mi opción stringsAsFactors = F) los niveles de los factores se copiaban íntegros en cada una de las columnas de tipo factor de cada una de las tablas resultantes. Aunque no se usasen. He convertido los factores a caracter, he vuelto a trocear el df resultante y el resultado ha sido:> object.size(empresas)33052680 bytes> object.size(loans)3813944 bytes Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en un orden de magnitud (asumible), no en tres o cuatro (no asumible). ¿Seré yo el único al que los dichosos factores le han hecho perder horas y horas de trabajo? Salud, Carlos J. Gil Bellosta http://www.datanalytics.com El día 13 de junio de 2013 20:54, Marcuzzi, Javier Rubén <javier.ruben.marcuzzi en gmail.com> escribió:> Estimados > > ¿que pasa con opciones como bigdata o semejantes? Tendría que probar, leer, > etc., pero puede ser que algún algoritmo distinto solucione esos problemas. > Recuerdo una presentación que creo que la realizó alguno de la lista donde > utilizaba millones de datos, eran de aeropuertos, tráfico aéreo, algo de eso > había leído en una oportunidad. > > Javier Marcuzzi > > -----Original Message----- From: Jose Luis Cañadas > Sent: Thursday, June 13, 2013 3:42 PM > To: r-help-es en r-project.org > Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso > de memoria) > > > Interesante... y preocupante. > No propuso alguien, no hace mucho, reescribir R desde el principio por > este tipo de cosas? > El 13/06/13 20:04, Carlos Ortega escribió: >> >> Hola, >> >> Si este comportamiento se ve con cualquier data.frame que luego conviertas >> a lista: >> >>> >>> v <- 1:10 >>> w <- split(v, 1:2) >>> w >> >> $`1` >> [1] 1 3 5 7 9 >> >> $`2` >> [1] 2 4 6 8 10 >> >>> object.size(v) >> >> 88 bytes >>> >>> object.size(w) >> >> 464 bytes >>> >>> object.size(w[[1]]) >> >> 72 bytes >> >> Y he encontrado una explicación que entiendo parcialmente está aquí: >> >> >> >> http://stackoverflow.com/questions/15848590/confusing-size-of-objects-in-r/15850414#15850414 >> >> Saludos, >> Carlos Ortega >> www.qualityexcellence.es >> >> >> El 13 de junio de 2013 18:35, Carlos J. Gil Bellosta >> <gilbellosta en gmail.com>escribió: >> >>> Hola, ¿qué tal? >>> >>> Tengo un df relativamente chiquito: >>> >>>> dim(loans) >>> >>> [1] 15172 22 >>>> >>>> object.size(loans) >>> >>> 7488144 bytes >>> >>> Sin embargo, >>> >>> empresas <- split(loans, loans$number_id) >>> length(empresas) >>> #8748 >>> >>> object.size(empresas) >>> # 50643907728 bytes >>> >>> Es decir, el objeto resultante de partir un df de 15000 filas en 8700 >>> dfs ocupa 5GB. >>> >>> ¿Alguna idea de por qué ocurre esto? >>> >>> (Uso R 3.0.1 en un Xubuntu 12.04 de 64 bits). >>> >>> Un saludo, >>> >>> Carlos J. Gil Bellosta >>> http://www.datanalytics.com >>> >>> _______________________________________________ >>> R-help-es mailing list >>> R-help-es en r-project.org >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>> >> >> >> >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > [[alternative HTML version deleted]] > > > > > > > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es
Marcuzzi, Javier Rubén
2013-Jun-13 19:45 UTC
[R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
Estimado Carlos Sobre: ¿Seré yo el único al que los dichosos factores le han hecho perder horas y horas de trabajo? Si usted supiese en mi caso las cosas fáciles que me hacen perder tiempo. ¿Hay alguna herramienta que verifique lo que realiza el código? Yo no soy programador pero vi en visualstudio o en netbeans, algunas formas donde colocando puntos en ciertas partes del código es posible visualizar como se va procesando, con información útil en el procesamiento técnico a un nivel informático que escapa a la mayoría, pero que existe. Javier -----Original Message----- From: Carlos J. Gil Bellosta Sent: Thursday, June 13, 2013 4:26 PM To: Marcuzzi, Javier Rubén Cc: Jose Luis Cañadas ; r-help-es Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria) Hola, ¿qué tal? Al final he descubierto el motivo del problema. Cierto que esperaba cierto nivel de _overhead_, pero nunca tantísimo. Por mucho _overhead_ que haya, no se pasa de 7MB a 5GB. El problema era que (a pesar de mi opción stringsAsFactors = F) los niveles de los factores se copiaban íntegros en cada una de las columnas de tipo factor de cada una de las tablas resultantes. Aunque no se usasen. He convertido los factores a caracter, he vuelto a trocear el df resultante y el resultado ha sido:> object.size(empresas)33052680 bytes> object.size(loans)3813944 bytes Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en un orden de magnitud (asumible), no en tres o cuatro (no asumible). ¿Seré yo el único al que los dichosos factores le han hecho perder horas y horas de trabajo? Salud, Carlos J. Gil Bellosta http://www.datanalytics.com El día 13 de junio de 2013 20:54, Marcuzzi, Javier Rubén <javier.ruben.marcuzzi en gmail.com> escribió:> Estimados > > ¿que pasa con opciones como bigdata o semejantes? Tendría que probar, > leer, > etc., pero puede ser que algún algoritmo distinto solucione esos > problemas. > Recuerdo una presentación que creo que la realizó alguno de la lista donde > utilizaba millones de datos, eran de aeropuertos, tráfico aéreo, algo de > eso > había leído en una oportunidad. > > Javier Marcuzzi > > -----Original Message----- From: Jose Luis Cañadas > Sent: Thursday, June 13, 2013 3:42 PM > To: r-help-es en r-project.org > Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? (Relativo al > uso > de memoria) > > > Interesante... y preocupante. > No propuso alguien, no hace mucho, reescribir R desde el principio por > este tipo de cosas? > El 13/06/13 20:04, Carlos Ortega escribió: >> >> Hola, >> >> Si este comportamiento se ve con cualquier data.frame que luego >> conviertas >> a lista: >> >>> >>> v <- 1:10 >>> w <- split(v, 1:2) >>> w >> >> $`1` >> [1] 1 3 5 7 9 >> >> $`2` >> [1] 2 4 6 8 10 >> >>> object.size(v) >> >> 88 bytes >>> >>> object.size(w) >> >> 464 bytes >>> >>> object.size(w[[1]]) >> >> 72 bytes >> >> Y he encontrado una explicación que entiendo parcialmente está aquí: >> >> >> >> http://stackoverflow.com/questions/15848590/confusing-size-of-objects-in-r/15850414#15850414 >> >> Saludos, >> Carlos Ortega >> www.qualityexcellence.es >> >> >> El 13 de junio de 2013 18:35, Carlos J. Gil Bellosta >> <gilbellosta en gmail.com>escribió: >> >>> Hola, ¿qué tal? >>> >>> Tengo un df relativamente chiquito: >>> >>>> dim(loans) >>> >>> [1] 15172 22 >>>> >>>> object.size(loans) >>> >>> 7488144 bytes >>> >>> Sin embargo, >>> >>> empresas <- split(loans, loans$number_id) >>> length(empresas) >>> #8748 >>> >>> object.size(empresas) >>> # 50643907728 bytes >>> >>> Es decir, el objeto resultante de partir un df de 15000 filas en 8700 >>> dfs ocupa 5GB. >>> >>> ¿Alguna idea de por qué ocurre esto? >>> >>> (Uso R 3.0.1 en un Xubuntu 12.04 de 64 bits). >>> >>> Un saludo, >>> >>> Carlos J. Gil Bellosta >>> http://www.datanalytics.com >>> >>> _______________________________________________ >>> R-help-es mailing list >>> R-help-es en r-project.org >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>> >> >> >> >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > [[alternative HTML version deleted]] > > > > > > > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es
Carlos Ortega
2013-Jun-13 20:22 UTC
[R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
Javier, R también tiene opciones de "debug" como la que estás comentando. Te adjunto un ejemplo práctico: http://www.burns-stat.com/an-r-debugging-example/?utm_source=rss&utm_medium=rss&utm_campaign=an-r-debugging-example Saludos, Carlos Ortega www.qualityexcellence.es El 13 de junio de 2013 21:45, Marcuzzi, Javier Rubén < javier.ruben.marcuzzi@gmail.com> escribió:> Estimado Carlos > > Sobre: > > ¿Seré yo el único al que los dichosos factores le han hecho perder > horas y horas de trabajo? > > Si usted supiese en mi caso las cosas fáciles que me hacen perder tiempo. > > ¿Hay alguna herramienta que verifique lo que realiza el código? > > Yo no soy programador pero vi en visualstudio o en netbeans, algunas > formas donde colocando puntos en ciertas partes del código es posible > visualizar como se va procesando, con información útil en el procesamiento > técnico a un nivel informático que escapa a la mayoría, pero que existe. > > Javier > > -----Original Message----- From: Carlos J. Gil Bellosta > Sent: Thursday, June 13, 2013 4:26 PM > To: Marcuzzi, Javier Rubén > Cc: Jose Luis Cañadas ; r-help-es > > Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? (Relativo al > uso de memoria) > > Hola, ¿qué tal? > > Al final he descubierto el motivo del problema. Cierto que esperaba > cierto nivel de _overhead_, pero nunca tantísimo. Por mucho _overhead_ > que haya, no se pasa de 7MB a 5GB. > > El problema era que (a pesar de mi opción stringsAsFactors = F) los > niveles de los factores se copiaban íntegros en cada una de las > columnas de tipo factor de cada una de las tablas resultantes. Aunque > no se usasen. > > He convertido los factores a caracter, he vuelto a trocear el df > resultante y el resultado ha sido: > > object.size(empresas) >> > 33052680 bytes > >> object.size(loans) >> > 3813944 bytes > > Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en > un orden de magnitud (asumible), no en tres o cuatro (no asumible). > > ¿Seré yo el único al que los dichosos factores le han hecho perder > horas y horas de trabajo? > > Salud, > > Carlos J. Gil Bellosta > http://www.datanalytics.com > > > El día 13 de junio de 2013 20:54, Marcuzzi, Javier Rubén > <javier.ruben.marcuzzi@gmail.**com <javier.ruben.marcuzzi@gmail.com>> > escribió: > >> Estimados >> >> ¿que pasa con opciones como bigdata o semejantes? Tendría que probar, >> leer, >> etc., pero puede ser que algún algoritmo distinto solucione esos >> problemas. >> Recuerdo una presentación que creo que la realizó alguno de la lista donde >> utilizaba millones de datos, eran de aeropuertos, tráfico aéreo, algo de >> eso >> había leído en una oportunidad. >> >> Javier Marcuzzi >> >> -----Original Message----- From: Jose Luis Cañadas >> Sent: Thursday, June 13, 2013 3:42 PM >> To: r-help-es@r-project.org >> Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? (Relativo al >> uso >> de memoria) >> >> >> Interesante... y preocupante. >> No propuso alguien, no hace mucho, reescribir R desde el principio por >> este tipo de cosas? >> El 13/06/13 20:04, Carlos Ortega escribió: >> >>> >>> Hola, >>> >>> Si este comportamiento se ve con cualquier data.frame que luego >>> conviertas >>> a lista: >>> >>> >>>> v <- 1:10 >>>> w <- split(v, 1:2) >>>> w >>>> >>> >>> $`1` >>> [1] 1 3 5 7 9 >>> >>> $`2` >>> [1] 2 4 6 8 10 >>> >>> object.size(v) >>>> >>> >>> 88 bytes >>> >>>> >>>> object.size(w) >>>> >>> >>> 464 bytes >>> >>>> >>>> object.size(w[[1]]) >>>> >>> >>> 72 bytes >>> >>> Y he encontrado una explicación que entiendo parcialmente está aquí: >>> >>> >>> >>> http://stackoverflow.com/**questions/15848590/confusing-** >>> size-of-objects-in-r/15850414#**15850414<http://stackoverflow.com/questions/15848590/confusing-size-of-objects-in-r/15850414#15850414> >>> >>> Saludos, >>> Carlos Ortega >>> www.qualityexcellence.es >>> >>> >>> El 13 de junio de 2013 18:35, Carlos J. Gil Bellosta >>> <gilbellosta@gmail.com>**escribió: >>> >>> Hola, ¿qué tal? >>>> >>>> Tengo un df relativamente chiquito: >>>> >>>> dim(loans) >>>>> >>>> >>>> [1] 15172 22 >>>> >>>>> >>>>> object.size(loans) >>>>> >>>> >>>> 7488144 bytes >>>> >>>> Sin embargo, >>>> >>>> empresas <- split(loans, loans$number_id) >>>> length(empresas) >>>> #8748 >>>> >>>> object.size(empresas) >>>> # 50643907728 bytes >>>> >>>> Es decir, el objeto resultante de partir un df de 15000 filas en 8700 >>>> dfs ocupa 5GB. >>>> >>>> ¿Alguna idea de por qué ocurre esto? >>>> >>>> (Uso R 3.0.1 en un Xubuntu 12.04 de 64 bits). >>>> >>>> Un saludo, >>>> >>>> Carlos J. Gil Bellosta >>>> http://www.datanalytics.com >>>> >>>> ______________________________**_________________ >>>> R-help-es mailing list >>>> R-help-es@r-project.org >>>> https://stat.ethz.ch/mailman/**listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es> >>>> >>>> >>> >>> >>> >>> ______________________________**_________________ >>> R-help-es mailing list >>> R-help-es@r-project.org >>> https://stat.ethz.ch/mailman/**listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es> >>> >> >> >> >> [[alternative HTML version deleted]] >> >> >> >> >> >> >> >> ______________________________**_________________ >> R-help-es mailing list >> R-help-es@r-project.org >> https://stat.ethz.ch/mailman/**listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es> >> >> ______________________________**_________________ >> R-help-es mailing list >> R-help-es@r-project.org >> https://stat.ethz.ch/mailman/**listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es> >> > > ______________________________**_________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/**listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es> >-- Saludos, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]]
Carlos J. Gil Bellosta
2013-Jun-13 21:04 UTC
[R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
Hola, ¿qué tal? Lo que quieres es un "debugger visual" (como el de muchos IDEs, incluyendo Netbeans y Eclipse) para R, como el de Revolution, http://www.youtube.com/watch?feature=player_embedded&v=7shLKEINM9A#! Pues sí, efectivamente, existe, pero solo con la versión de Revolutions de R. Y verás también que está basado en el "debugger" tradicional de R, que permite ejecutar código línea a línea. Personalmente, no veo que la parte visual aporte mucho: soy más rápido tecleando que moviendo el ratón. Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com El día 13 de junio de 2013 21:45, Marcuzzi, Javier Rubén <javier.ruben.marcuzzi en gmail.com> escribió:> Estimado Carlos > > Sobre: > > ¿Seré yo el único al que los dichosos factores le han hecho perder > horas y horas de trabajo? > > Si usted supiese en mi caso las cosas fáciles que me hacen perder tiempo. > > ¿Hay alguna herramienta que verifique lo que realiza el código? > > Yo no soy programador pero vi en visualstudio o en netbeans, algunas formas > donde colocando puntos en ciertas partes del código es posible visualizar > como se va procesando, con información útil en el procesamiento técnico a un > nivel informático que escapa a la mayoría, pero que existe. > > Javier > > -----Original Message----- From: Carlos J. Gil Bellosta > Sent: Thursday, June 13, 2013 4:26 PM > To: Marcuzzi, Javier Rubén > Cc: Jose Luis Cañadas ; r-help-es > > Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso > de memoria) > > Hola, ¿qué tal? > > Al final he descubierto el motivo del problema. Cierto que esperaba > cierto nivel de _overhead_, pero nunca tantísimo. Por mucho _overhead_ > que haya, no se pasa de 7MB a 5GB. > > El problema era que (a pesar de mi opción stringsAsFactors = F) los > niveles de los factores se copiaban íntegros en cada una de las > columnas de tipo factor de cada una de las tablas resultantes. Aunque > no se usasen. > > He convertido los factores a caracter, he vuelto a trocear el df > resultante y el resultado ha sido: > >> object.size(empresas) > > 33052680 bytes >> >> object.size(loans) > > 3813944 bytes > > Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en > un orden de magnitud (asumible), no en tres o cuatro (no asumible). > > ¿Seré yo el único al que los dichosos factores le han hecho perder > horas y horas de trabajo? > > Salud, > > Carlos J. Gil Bellosta > http://www.datanalytics.com > > > El día 13 de junio de 2013 20:54, Marcuzzi, Javier Rubén > <javier.ruben.marcuzzi en gmail.com> escribió: >> >> Estimados >> >> ¿que pasa con opciones como bigdata o semejantes? Tendría que probar, >> leer, >> etc., pero puede ser que algún algoritmo distinto solucione esos >> problemas. >> Recuerdo una presentación que creo que la realizó alguno de la lista donde >> utilizaba millones de datos, eran de aeropuertos, tráfico aéreo, algo de >> eso >> había leído en una oportunidad. >> >> Javier Marcuzzi >> >> -----Original Message----- From: Jose Luis Cañadas >> Sent: Thursday, June 13, 2013 3:42 PM >> To: r-help-es en r-project.org >> Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? (Relativo al >> uso >> de memoria) >> >> >> Interesante... y preocupante. >> No propuso alguien, no hace mucho, reescribir R desde el principio por >> este tipo de cosas? >> El 13/06/13 20:04, Carlos Ortega escribió: >>> >>> >>> Hola, >>> >>> Si este comportamiento se ve con cualquier data.frame que luego >>> conviertas >>> a lista: >>> >>>> >>>> v <- 1:10 >>>> w <- split(v, 1:2) >>>> w >>> >>> >>> $`1` >>> [1] 1 3 5 7 9 >>> >>> $`2` >>> [1] 2 4 6 8 10 >>> >>>> object.size(v) >>> >>> >>> 88 bytes >>>> >>>> >>>> object.size(w) >>> >>> >>> 464 bytes >>>> >>>> >>>> object.size(w[[1]]) >>> >>> >>> 72 bytes >>> >>> Y he encontrado una explicación que entiendo parcialmente está aquí: >>> >>> >>> >>> >>> http://stackoverflow.com/questions/15848590/confusing-size-of-objects-in-r/15850414#15850414 >>> >>> Saludos, >>> Carlos Ortega >>> www.qualityexcellence.es >>> >>> >>> El 13 de junio de 2013 18:35, Carlos J. Gil Bellosta >>> <gilbellosta en gmail.com>escribió: >>> >>>> Hola, ¿qué tal? >>>> >>>> Tengo un df relativamente chiquito: >>>> >>>>> dim(loans) >>>> >>>> >>>> [1] 15172 22 >>>>> >>>>> >>>>> object.size(loans) >>>> >>>> >>>> 7488144 bytes >>>> >>>> Sin embargo, >>>> >>>> empresas <- split(loans, loans$number_id) >>>> length(empresas) >>>> #8748 >>>> >>>> object.size(empresas) >>>> # 50643907728 bytes >>>> >>>> Es decir, el objeto resultante de partir un df de 15000 filas en 8700 >>>> dfs ocupa 5GB. >>>> >>>> ¿Alguna idea de por qué ocurre esto? >>>> >>>> (Uso R 3.0.1 en un Xubuntu 12.04 de 64 bits). >>>> >>>> Un saludo, >>>> >>>> Carlos J. Gil Bellosta >>>> http://www.datanalytics.com >>>> >>>> _______________________________________________ >>>> R-help-es mailing list >>>> R-help-es en r-project.org >>>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>>> >>> >>> >>> >>> >>> _______________________________________________ >>> R-help-es mailing list >>> R-help-es en r-project.org >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >> >> >> >> >> [[alternative HTML version deleted]] >> >> >> >> >> >> >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es > >
Olivier Nuñez
2013-Jun-14 09:38 UTC
[R-es] ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
Carlos, que sepas que sufrí también el mismo problema hace unos meses, esperando durante horas cálculos que se podían llevar en unos pocos minutos. Tardé también en percatarme del origen del problema y adopté la misma solución. Un saludo. Olivier El 13/06/2013, a las 21:26, Carlos J. Gil Bellosta escribió:> Hola, ¿qué tal? > > Al final he descubierto el motivo del problema. Cierto que esperaba > cierto nivel de _overhead_, pero nunca tantísimo. Por mucho _overhead_ > que haya, no se pasa de 7MB a 5GB. > > El problema era que (a pesar de mi opción stringsAsFactors = F) los > niveles de los factores se copiaban íntegros en cada una de las > columnas de tipo factor de cada una de las tablas resultantes. Aunque > no se usasen. > > He convertido los factores a caracter, he vuelto a trocear el df > resultante y el resultado ha sido: > >> object.size(empresas) > 33052680 bytes >> object.size(loans) > 3813944 bytes > > Es decir, con _overhead_ el tamaño del objeto resultante ha crecido en > un orden de magnitud (asumible), no en tres o cuatro (no asumible). > > ¿Seré yo el único al que los dichosos factores le han hecho perder > horas y horas de trabajo? > > Salud, > > Carlos J. Gil Bellosta > http://www.datanalytics.com > > > El día 13 de junio de 2013 20:54, Marcuzzi, Javier Rubén > <javier.ruben.marcuzzi en gmail.com> escribió: >> Estimados >> >> ¿que pasa con opciones como bigdata o semejantes? Tendría que >> probar, leer, >> etc., pero puede ser que algún algoritmo distinto solucione esos >> problemas. >> Recuerdo una presentación que creo que la realizó alguno de la >> lista donde >> utilizaba millones de datos, eran de aeropuertos, tráfico aéreo, >> algo de eso >> había leído en una oportunidad. >> >> Javier Marcuzzi >> >> -----Original Message----- From: Jose Luis Cañadas >> Sent: Thursday, June 13, 2013 3:42 PM >> To: r-help-es en r-project.org >> Subject: Re: [R-es] ¿Alguna explicación para este fenómeno? >> (Relativo al uso >> de memoria) >> >> >> Interesante... y preocupante. >> No propuso alguien, no hace mucho, reescribir R desde el principio >> por >> este tipo de cosas? >> El 13/06/13 20:04, Carlos Ortega escribió: >>> >>> Hola, >>> >>> Si este comportamiento se ve con cualquier data.frame que luego >>> conviertas >>> a lista: >>> >>>> >>>> v <- 1:10 >>>> w <- split(v, 1:2) >>>> w >>> >>> $`1` >>> [1] 1 3 5 7 9 >>> >>> $`2` >>> [1] 2 4 6 8 10 >>> >>>> object.size(v) >>> >>> 88 bytes >>>> >>>> object.size(w) >>> >>> 464 bytes >>>> >>>> object.size(w[[1]]) >>> >>> 72 bytes >>> >>> Y he encontrado una explicación que entiendo parcialmente está aquí: >>> >>> >>> >>> http://stackoverflow.com/questions/15848590/confusing-size-of- >>> objects-in-r/15850414#15850414 >>> >>> Saludos, >>> Carlos Ortega >>> www.qualityexcellence.es >>> >>> >>> El 13 de junio de 2013 18:35, Carlos J. Gil Bellosta >>> <gilbellosta en gmail.com>escribió: >>> >>>> Hola, ¿qué tal? >>>> >>>> Tengo un df relativamente chiquito: >>>> >>>>> dim(loans) >>>> >>>> [1] 15172 22 >>>>> >>>>> object.size(loans) >>>> >>>> 7488144 bytes >>>> >>>> Sin embargo, >>>> >>>> empresas <- split(loans, loans$number_id) >>>> length(empresas) >>>> #8748 >>>> >>>> object.size(empresas) >>>> # 50643907728 bytes >>>> >>>> Es decir, el objeto resultante de partir un df de 15000 filas en >>>> 8700 >>>> dfs ocupa 5GB. >>>> >>>> ¿Alguna idea de por qué ocurre esto? >>>> >>>> (Uso R 3.0.1 en un Xubuntu 12.04 de 64 bits). >>>> >>>> Un saludo, >>>> >>>> Carlos J. Gil Bellosta >>>> http://www.datanalytics.com >>>> >>>> _______________________________________________ >>>> R-help-es mailing list >>>> R-help-es en r-project.org >>>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>>> >>> >>> >>> >>> >>> _______________________________________________ >>> R-help-es mailing list >>> R-help-es en r-project.org >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >> >> >> >> [[alternative HTML version deleted]] >> >> >> >> >> >> >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es
Possibly Parallel Threads
- ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
- ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
- ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
- ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)
- ¿Alguna explicación para este fenómeno? (Relativo al uso de memoria)