Hola, tengo ficheros en SAS varían desde 11.605 hasta 2.535.595 registros , y variables desde desde 8 a 480. Estoy por seleccionar variables, ya tengo algunos algoritmos en R, para aplicar análisis...pero creo que quizás presente problemas con el volumen de datos (soy novel en R, tengo entendido q R carga los objetos en memoria). Si este fuera el caso q me recomiendan?, he leído q existen paquetes para solventar el problema.. trabajo sobre windows 2GB RAM-ubuntu, según he leído windows limita la memoria para trabajar con R. Cuál seria el limite en ubuntu?Deseo ahorrar macros y demás en SAS. De antemano gracias ...saludos... [[alternative HTML version deleted]]
Estimada Liliana Sanchez Su problema se entiende perfectamente, creo que yo comprendí lo que me decía un profesor cuándo mi computadora demoraba horas, días y sin memoria. Pero su problema es tan genérico que no tiene una sola respuesta. Por ejemplo si escribe en R: ??memory Aparecerán varias posibilidades, de pronto si trabaja con solo matrices se podría decir sparse matrix ..., pero ... Creo que lo más sencillo es que cargue los sus datos en R, y a partir de esto se podrían buscar alternativas cuándo se presenten los problemas, su cantidad de registros para R en principio no es problema, creo, en esta lista hay personas que trabajan con muchos datos, seguramente ellos pueden ayudarla mucho más que yo, pero ya se que van a preguntar algo más específico, como el mensaje de error, mensaje de dependerá de su caso en particular. Yo opino que lo intente y luego otros integrantes de la lista seguramente podrán realizar aportes de mejor calidad que el mío. Javier Marcuzzi -----Mensaje original----- From: LILIANA SANCHEZ Sent: Wednesday, December 19, 2012 5:51 PM To: r-help-es en r-project.org Subject: [R-es] Memoria insuficiente R Hola, tengo ficheros en SAS varían desde 11.605 hasta 2.535.595 registros , y variables desde desde 8 a 480. Estoy por seleccionar variables, ya tengo algunos algoritmos en R, para aplicar análisis...pero creo que quizás presente problemas con el volumen de datos (soy novel en R, tengo entendido q R carga los objetos en memoria). Si este fuera el caso q me recomiendan?, he leído q existen paquetes para solventar el problema.. trabajo sobre windows 2GB RAM-ubuntu, según he leído windows limita la memoria para trabajar con R. Cuál seria el limite en ubuntu?Deseo ahorrar macros y demás en SAS. De antemano gracias ...saludos... [[alternative HTML version deleted]] _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Hola. Existen paquetes como ff o bigmemory o bigglm o incluso paralelizar el código en varias máquinas. Yo la verdad no me he puesto nunca con eso (hasta que me haga falta), pero quizá esto que he leído hace poco te ayude. Utilizar read.delim2 para leer los datos y especifica la clase de las columnas. http://danielmarcelino.com/reading-big-files-into-r/ Saludos. El 19/12/12 23:08, Marcuzzi, Javier Rubén escribió:> Estimada Liliana Sanchez > > Su problema se entiende perfectamente, creo que yo comprendí lo que me > decía un profesor cuándo mi computadora demoraba horas, días y sin > memoria. > > Pero su problema es tan genérico que no tiene una sola respuesta. > > Por ejemplo si escribe en R: > ??memory > > Aparecerán varias posibilidades, de pronto si trabaja con solo > matrices se podría decir sparse matrix ..., pero ... > > Creo que lo más sencillo es que cargue los sus datos en R, y a partir > de esto se podrían buscar alternativas cuándo se presenten los > problemas, su cantidad de registros para R en principio no es > problema, creo, en esta lista hay personas que trabajan con muchos > datos, seguramente ellos pueden ayudarla mucho más que yo, pero ya se > que van a preguntar algo más específico, como el mensaje de error, > mensaje de dependerá de su caso en particular. > > Yo opino que lo intente y luego otros integrantes de la lista > seguramente podrán realizar aportes de mejor calidad que el mío. > > Javier Marcuzzi > > -----Mensaje original----- From: LILIANA SANCHEZ > Sent: Wednesday, December 19, 2012 5:51 PM > To: r-help-es en r-project.org > Subject: [R-es] Memoria insuficiente R > > Hola, tengo ficheros en SAS varían desde 11.605 hasta 2.535.595 > registros , > y variables desde desde 8 a 480. > Estoy por seleccionar variables, ya tengo algunos algoritmos en R, para > aplicar análisis...pero creo que quizás > presente problemas con el volumen de datos (soy novel en R, tengo > entendido > q R carga los objetos en memoria). > Si este fuera el caso q me recomiendan?, he leído q existen paquetes para > solventar el problema.. > trabajo sobre windows 2GB RAM-ubuntu, según he leído windows limita la > memoria para trabajar con R. Cuál seria el limite en > ubuntu?Deseo ahorrar macros y demás en SAS. > > De antemano gracias ...saludos... > > [[alternative HTML version deleted]] > > > > > > > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es
Liliana, El límite de memoria que puede utilizar R depende del sistema operativo sobre el que trabaje y de la versión de R. Si trabajas sobre un sistema de 32 bits, sólo puede direccionar hasta 4Gbytes y, en muchos casos, aunque tengas 4Gb de Ram no podrá utilizar más allá de los 3Gb. En cambio, si utilizas un sistema operativo de 64 bits y la versión de R también de 64 bits, este límite no existe y puedes utilizar 16Gb, 32Gb, lo que puedas poner en la placa de tu ordenador. Yo tengo Windows 7/64 con 4Gb de Ram y estoy trabajando con varios data frames de alrededor de 6.000.000 de registros y no tengo problemas. Seguramente deberás establecer un límite de memoria superior al de defecto, por ejemplo, yo necesito hacer un memory.limit(6000) para que no me de error de falta de memoria. Fíjate que 6000 es superior a los 4000 que tengo físicos, pero se puede hacer porque ahí es donde entraría la memoria virtual de la máquina. Lo importante es que se pueda direccionar, y esto sólo es posible si el sistema operativo es de 64 bits. Suerte y saludos, Juan Carmona -----Mensaje original----- De: r-help-es-bounces en r-project.org [mailto:r-help-es-bounces en r-project.org] En nombre de LILIANA SANCHEZ Enviado el: miércoles, 19 de diciembre de 2012 21:52 Para: r-help-es en r-project.org Asunto: [R-es] Memoria insuficiente R Hola, tengo ficheros en SAS varían desde 11.605 hasta 2.535.595 registros , y variables desde desde 8 a 480. Estoy por seleccionar variables, ya tengo algunos algoritmos en R, para aplicar análisis...pero creo que quizás presente problemas con el volumen de datos (soy novel en R, tengo entendido q R carga los objetos en memoria). Si este fuera el caso q me recomiendan?, he leído q existen paquetes para solventar el problema.. trabajo sobre windows 2GB RAM-ubuntu, según he leído windows limita la memoria para trabajar con R. Cuál seria el limite en ubuntu?Deseo ahorrar macros y demás en SAS. De antemano gracias ...saludos... [[alternative HTML version deleted]]
Gracias jcmld, pues tengo windows7-ubuntu/32 bit 2 Gb de Ram .Leí q para hacer el cambio de SO a 64bit , el procesador también debe ser de 64 bit, aunq revise : ¿Cómo se sabe si el equipo puede ejecutar una versión de Windows de 64 bits? http://windows.microsoft.com/es-CL/windows7/32-bit-and-64-bit-Windows-frequently-asked-questions# según sí es compatible... .Creo no será necesario adquirir un procesador de 64 bit... Otra cosilla donde es mejor el rendimiento ubuntu-windows7? muchos se inclinan por linux...soy novel ... saludos El 20/12/12, Jcmld <jcmld en carmonarocha.com> escribió:> Liliana, > > El límite de memoria que puede utilizar R depende del sistema operativo > sobre el que trabaje y de la versión de R. > > Si trabajas sobre un sistema de 32 bits, sólo puede direccionar hasta > 4Gbytes y, en muchos casos, aunque tengas 4Gb de Ram no podrá utilizar más > allá de los 3Gb. En cambio, si utilizas un sistema operativo de 64 bits y > la > versión de R también de 64 bits, este límite no existe y puedes utilizar > 16Gb, 32Gb, lo que puedas poner en la placa de tu ordenador. Yo tengo > Windows 7/64 con 4Gb de Ram y estoy trabajando con varios data frames de > alrededor de 6.000.000 de registros y no tengo problemas. Seguramente > deberás establecer un límite de memoria superior al de defecto, por > ejemplo, > yo necesito hacer un > > memory.limit(6000) > > para que no me de error de falta de memoria. Fíjate que 6000 es superior a > los 4000 que tengo físicos, pero se puede hacer porque ahí es donde > entraría > la memoria virtual de la máquina. Lo importante es que se pueda > direccionar, > y esto sólo es posible si el sistema operativo es de 64 bits. > > Suerte y saludos, > > Juan Carmona > > > -----Mensaje original----- > De: r-help-es-bounces en r-project.org > [mailto:r-help-es-bounces en r-project.org] > En nombre de LILIANA SANCHEZ > Enviado el: miércoles, 19 de diciembre de 2012 21:52 > Para: r-help-es en r-project.org > Asunto: [R-es] Memoria insuficiente R > > Hola, tengo ficheros en SAS varían desde 11.605 hasta 2.535.595 registros , > y variables desde desde 8 a 480. > Estoy por seleccionar variables, ya tengo algunos algoritmos en R, para > aplicar análisis...pero creo que quizás presente problemas con el volumen > de > datos (soy novel en R, tengo entendido q R carga los objetos en memoria). > Si este fuera el caso q me recomiendan?, he leído q existen paquetes para > solventar el problema.. > trabajo sobre windows 2GB RAM-ubuntu, según he leído windows limita la > memoria para trabajar con R. Cuál seria el limite en ubuntu?Deseo ahorrar > macros y demás en SAS. > > De antemano gracias ...saludos... > > [[alternative HTML version deleted]] > > >
Estimada Liliana Sanchez En windows 7, panel de control, sistema y seguridad, sistema, en la parte de sistema dice el procesador y en tipo de sistema el sistema operativo y si es 64 bits. De acuerdo al procesador con una búsqueda en internet es fácil conocer de cuantos bits es. Si ya tiene el sistema instalado, es complicado (no se como) cambiar los bits para aumentarlos, siempre y cuando el procesador los soporte. Hoy en día en windows, R instala para ambos bits, 32 y 64. En linux la instalación depende del procesador y sistema operativo, compilarlo tiene sus secretos o complicaciones, pero las versiones compiladas se instalan sin problemas. Linux tiene grandes ventajas, pero también sus inconvenientes. Yo utilicé R en windows, linux y mac, lo mejor la mac siempre y cuando no se utilice algo compilado que no se encuentre disponible en código fuente para mac, luego depende que una u otra plataforma es preferible sobre la otra. Javier Marcuzzi -----Mensaje original----- From: LILIANA SANCHEZ Sent: Thursday, December 20, 2012 3:48 PM To: Jcmld Cc: r-help-es en r-project.org Subject: Re: [R-es] Memoria insuficiente R Gracias jcmld, pues tengo windows7-ubuntu/32 bit 2 Gb de Ram .Leí q para hacer el cambio de SO a 64bit , el procesador también debe ser de 64 bit, aunq revise : ¿Cómo se sabe si el equipo puede ejecutar una versión de Windows de 64 bits? http://windows.microsoft.com/es-CL/windows7/32-bit-and-64-bit-Windows-frequently-asked-questions# según sí es compatible... .Creo no será necesario adquirir un procesador de 64 bit... Otra cosilla donde es mejor el rendimiento ubuntu-windows7? muchos se inclinan por linux...soy novel ... saludos El 20/12/12, Jcmld <jcmld en carmonarocha.com> escribió:> Liliana, > > El límite de memoria que puede utilizar R depende del sistema operativo > sobre el que trabaje y de la versión de R. > > Si trabajas sobre un sistema de 32 bits, sólo puede direccionar hasta > 4Gbytes y, en muchos casos, aunque tengas 4Gb de Ram no podrá utilizar más > allá de los 3Gb. En cambio, si utilizas un sistema operativo de 64 bits y > la > versión de R también de 64 bits, este límite no existe y puedes utilizar > 16Gb, 32Gb, lo que puedas poner en la placa de tu ordenador. Yo tengo > Windows 7/64 con 4Gb de Ram y estoy trabajando con varios data frames de > alrededor de 6.000.000 de registros y no tengo problemas. Seguramente > deberás establecer un límite de memoria superior al de defecto, por > ejemplo, > yo necesito hacer un > > memory.limit(6000) > > para que no me de error de falta de memoria. Fíjate que 6000 es superior a > los 4000 que tengo físicos, pero se puede hacer porque ahí es donde > entraría > la memoria virtual de la máquina. Lo importante es que se pueda > direccionar, > y esto sólo es posible si el sistema operativo es de 64 bits. > > Suerte y saludos, > > Juan Carmona > > > -----Mensaje original----- > De: r-help-es-bounces en r-project.org > [mailto:r-help-es-bounces en r-project.org] > En nombre de LILIANA SANCHEZ > Enviado el: miércoles, 19 de diciembre de 2012 21:52 > Para: r-help-es en r-project.org > Asunto: [R-es] Memoria insuficiente R > > Hola, tengo ficheros en SAS varían desde 11.605 hasta 2.535.595 registros > , > y variables desde desde 8 a 480. > Estoy por seleccionar variables, ya tengo algunos algoritmos en R, para > aplicar análisis...pero creo que quizás presente problemas con el volumen > de > datos (soy novel en R, tengo entendido q R carga los objetos en memoria). > Si este fuera el caso q me recomiendan?, he leído q existen paquetes para > solventar el problema.. > trabajo sobre windows 2GB RAM-ubuntu, según he leído windows limita la > memoria para trabajar con R. Cuál seria el limite en ubuntu?Deseo ahorrar > macros y demás en SAS. > > De antemano gracias ...saludos... > > [[alternative HTML version deleted]] > > >_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Si estimado Marcuzzi, Javier Rubén Antes he revisado mi SO windows7 es de 32 bits . siguiendo : http://windows.microsoft.com/es-CL/windows7/32-bit-and-64-bit-Windows-frequently-asked-questions# me dice que es compatible con 64 bits .. Según es factible instalar SO de 64 bits...(aunque se sabe el procesador debe ser de 64 bits) El 20 de diciembre de 2012 15:41, Marcuzzi, Javier Rubén < javier.ruben.marcuzzi@gmail.com> escribió:> Estimada Liliana Sanchez > > En windows 7, panel de control, sistema y seguridad, sistema, en la parte > de sistema dice el procesador y en tipo de sistema el sistema operativo y > si es 64 bits. > > De acuerdo al procesador con una búsqueda en internet es fácil conocer de > cuantos bits es. > > Si ya tiene el sistema instalado, es complicado (no se como) cambiar los > bits para aumentarlos, siempre y cuando el procesador los soporte. > > Hoy en día en windows, R instala para ambos bits, 32 y 64. > > En linux la instalación depende del procesador y sistema operativo, > compilarlo tiene sus secretos o complicaciones, pero las versiones > compiladas se instalan sin problemas. Linux tiene grandes ventajas, pero > también sus inconvenientes. > > Yo utilicé R en windows, linux y mac, lo mejor la mac siempre y cuando no > se utilice algo compilado que no se encuentre disponible en código fuente > para mac, luego depende que una u otra plataforma es preferible sobre la > otra. > > > Javier Marcuzzi > > -----Mensaje original----- From: LILIANA SANCHEZ > Sent: Thursday, December 20, 2012 3:48 PM > To: Jcmld > Cc: r-help-es@r-project.org > Subject: Re: [R-es] Memoria insuficiente R > > > Gracias jcmld, pues tengo windows7-ubuntu/32 bit > 2 Gb de Ram .Leí q para hacer el cambio de SO a 64bit , el procesador > también debe ser de 64 bit, aunq revise : > ¿Cómo se sabe si el equipo puede ejecutar una versión de Windows de 64 > bits? > > http://windows.microsoft.com/**es-CL/windows7/32-bit-and-64-** > bit-Windows-frequently-asked-**questions#<http://windows.microsoft.com/es-CL/windows7/32-bit-and-64-bit-Windows-frequently-asked-questions#> > > según sí es compatible... > .Creo no será necesario adquirir un procesador de 64 bit... > Otra cosilla donde es mejor el rendimiento ubuntu-windows7? > muchos se inclinan por linux...soy novel ... > > saludos > > El 20/12/12, Jcmld <jcmld@carmonarocha.com> escribió: > >> Liliana, >> >> El límite de memoria que puede utilizar R depende del sistema operativo >> sobre el que trabaje y de la versión de R. >> >> Si trabajas sobre un sistema de 32 bits, sólo puede direccionar hasta >> 4Gbytes y, en muchos casos, aunque tengas 4Gb de Ram no podrá utilizar más >> allá de los 3Gb. En cambio, si utilizas un sistema operativo de 64 bits y >> la >> versión de R también de 64 bits, este límite no existe y puedes utilizar >> 16Gb, 32Gb, lo que puedas poner en la placa de tu ordenador. Yo tengo >> Windows 7/64 con 4Gb de Ram y estoy trabajando con varios data frames de >> alrededor de 6.000.000 de registros y no tengo problemas. Seguramente >> deberás establecer un límite de memoria superior al de defecto, por >> ejemplo, >> yo necesito hacer un >> >> memory.limit(6000) >> >> para que no me de error de falta de memoria. Fíjate que 6000 es superior a >> los 4000 que tengo físicos, pero se puede hacer porque ahí es donde >> entraría >> la memoria virtual de la máquina. Lo importante es que se pueda >> direccionar, >> y esto sólo es posible si el sistema operativo es de 64 bits. >> >> Suerte y saludos, >> >> Juan Carmona >> >> >> -----Mensaje original----- >> De: r-help-es-bounces@r-project.**org <r-help-es-bounces@r-project.org> >> [mailto:r-help-es-bounces@r-**project.org<r-help-es-bounces@r-project.org> >> ] >> En nombre de LILIANA SANCHEZ >> Enviado el: miércoles, 19 de diciembre de 2012 21:52 >> Para: r-help-es@r-project.org >> Asunto: [R-es] Memoria insuficiente R >> >> Hola, tengo ficheros en SAS varían desde 11.605 hasta 2.535.595 registros >> , >> y variables desde desde 8 a 480. >> Estoy por seleccionar variables, ya tengo algunos algoritmos en R, para >> aplicar análisis...pero creo que quizás presente problemas con el volumen >> de >> datos (soy novel en R, tengo entendido q R carga los objetos en memoria). >> Si este fuera el caso q me recomiendan?, he leído q existen paquetes para >> solventar el problema.. >> trabajo sobre windows 2GB RAM-ubuntu, según he leído windows limita la >> memoria para trabajar con R. Cuál seria el limite en ubuntu?Deseo ahorrar >> macros y demás en SAS. >> >> De antemano gracias ...saludos... >> >> [[alternative HTML version deleted]] >> >> >> >> > ______________________________**_________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/**listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es> >[[alternative HTML version deleted]]