R help es - Dec 2010 - problemas con el límite de memoria en windows vista

Hola. 

Estoy intentando hacer un análisis de crétido parcial (PCM en el paquete eRm)
pero no me deja porque no puede manejar un vector de 496 Mb

El ordenador es 32bit y el sistema es windows vista. En principio, la RAM es de
4GB, aunque en realidad parece ser que es 3,6GB.

He podido incrementar el tamaño de memoria a 4000 (¿4Mb?) con
memory.limit(size=4000) pero no me deja subir de ahí.

¿qué puedo hacer?. Son mis primeros pasos con R, y R commander, así que por
favor explicarlo todo clarito.

Gracias,

Un saludo. David



      
	[[alternative HTML version deleted]]

Hola, ¿qué tal?

¿Qué tamaño tiene tu conjunto de datos? Igual es que directamente
partes de un fichero inmanejable.

Un saludo,

Carlos J. Gil Bellosta
http://www.datanalytics.com


El día 22 de diciembre de 2010 11:57, David <dmenor1 en yahoo.es>
escribió:
> Hola.
>
> Estoy intentando hacer un análisis de crétido parcial (PCM en el paquete
eRm) pero no me deja porque no puede manejar un vector de 496 Mb
>
> El ordenador es 32bit y el sistema es windows vista. En principio, la RAM
es de 4GB, aunque en realidad parece ser que es 3,6GB.
>
> He podido incrementar el tamaño de memoria a 4000 (¿4Mb?) con
memory.limit(size=4000) pero no me deja subir de ahí.
>
> ¿qué puedo hacer?. Son mis primeros pasos con R, y R commander, así que por
favor explicarlo todo clarito.
>
> Gracias,
>
> Un saludo. David
>
>
>
>
>        [[alternative HTML version deleted]]
>
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>

Hola,

Esta es una limitación de R asociada a cómo gesitona la RAM.
En el R-Help (Inglés) hay un montón de hilos justamente asociados a como
sobrepasar esta limitación. En el propio FAQ de Windows aparecen
recomendaciones.

En general la regla es que puedes gestionar como mucho ficheros de un 10-20%
de la RAM que tengas instalada.
A partir de aquí, para solucionar el problema que tienes, la forma es
utilizar aproximaciones específicas del tipo: sampling de tus datos y a
partir de ahí extrapolar el comportamiento, o algo más novedoso como es el
uso de la librería "bigmemory" que te permitiría importar sin
problemas todo
el fichero que comentas, aunque luego no creo que puedas hacer uso de los
métodos asociados con la otra librería que comentas (eRM).

Sobre la propuesta de bigmemory mira esta presentación sobre lo que se puede
hacer, es realmente impresionante (llegar a analizar parcialmente en R todo
el histórico de información de vuelos de USA - 120Gb) :
http://joshpaulson.wordpress.com/2010/12/20/michael-kane-on-bigmemory/


Saludos,
Carlos Ortega.
www.qualityexcellence.es
http://www.datanalytics.com/blog


2010/12/22 Carlos J. Gil Bellosta <cgb@datanalytics.com>
> Hola, ¿qué tal?
>
> ¿Qué tamaño tiene tu conjunto de datos? Igual es que directamente
> partes de un fichero inmanejable.
>
> Un saludo,
>
> Carlos J. Gil Bellosta
> http://www.datanalytics.com
>
>
> El día 22 de diciembre de 2010 11:57, David <dmenor1@yahoo.es>
escribió:
> > Hola.
> >
> > Estoy intentando hacer un análisis de crétido parcial (PCM en el
paquete
> eRm) pero no me deja porque no puede manejar un vector de 496 Mb
> >
> > El ordenador es 32bit y el sistema es windows vista. En principio, la
RAM
> es de 4GB, aunque en realidad parece ser que es 3,6GB.
> >
> > He podido incrementar el tamaño de memoria a 4000 (¿4Mb?) con
> memory.limit(size=4000) pero no me deja subir de ahí.
> >
> > ¿qué puedo hacer?. Son mis primeros pasos con R, y R commander, así
que
> por favor explicarlo todo clarito.
> >
> > Gracias,
> >
> > Un saludo. David
> >
> >
> >
> >
> >        [[alternative HTML version deleted]]
> >
> >
> > _______________________________________________
> > R-help-es mailing list
> > R-help-es@r-project.org
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
> >
>
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
	[[alternative HTML version deleted]]

Lo primero Feliz 2011 y lo segundo perdón si me repito, he visto este 
tema con cierto retraso.

Para manejar conjuntos de datos incluso un poco grandes (cientos de 
megas) en R no queda más remedio que acudir a las versiones 64 bit. Por 
cierto, ya está disponible la versión open-source de R-64 bit para 
Windows (requiere versiones 64 bit, ya sea Vista, 7 o Server):

http://cran.r-project.org/bin/windows/base/

Lógicamente cuanta más memoria física mejor, pero la ventaja del SO 64 
bit es que te permitirá usar toda la RAM instalada, y si sobrepasa ese 
límite, puede hacer swap a disco. El sistema irá más lento, pero no se 
parará (hasta que alcance el límite del swap, claro).

Nuestra experiencia con R-64 bit para Linux y para Mac (muy 
recomendable, tiene la mejor interfaz) es muy buena. Con 8 GB RAM se 
pueden manejar conjuntos de varios gigas. La de Windows 64 bit sobre un 
Server la estamos probando, pero parece funcionar también muy bien.

Saludos,
Pedro
-- 
*Pedro Concejero
Telefónica I+D <http://www.tid.es/>
User Modelling - Analytic Models
E-mail: pedro.concejero@tid.es
*

	[[alternative HTML version deleted]]

Hola, ¿qué tal?

El autor de la primera cuestión ha olvidado (y por eso han seguido
algunos tratando de ayudarle) mencionar que su problema está resuelto
y no se debe tanto a una insuficiencia de memoria como a una
incorrecta especificación del modelo.

Para los amigos de los detalles: el modelo PCM del paquete eRm asume
que los datos de la matriz de entrada que se le pasa son categóricos y
crea una matriz de diseño. Los datos que se le estaban pasando eran
continuos y la matriz de diseño que se generaba era inmensa.

Un saludo,

Carlos J. Gil Bellosta
http://www.datanalytics.com


El día 27 de diciembre de 2010 10:57, Pedro Concejero Cerezo
<pedroc en tid.es> escribió:
> Lo primero Feliz 2011 y lo segundo perdón si me repito, he visto este
> tema con cierto retraso.
>
> Para manejar conjuntos de datos incluso un poco grandes (cientos de
> megas) en R no queda más remedio que acudir a las versiones 64 bit. Por
> cierto, ya está disponible la versión open-source de R-64 bit para
> Windows (requiere versiones 64 bit, ya sea Vista, 7 o Server):
>
> http://cran.r-project.org/bin/windows/base/
>
> Lógicamente cuanta más memoria física mejor, pero la ventaja del SO 64
> bit es que te permitirá usar toda la RAM instalada, y si sobrepasa ese
> límite, puede hacer swap a disco. El sistema irá más lento, pero no se
> parará (hasta que alcance el límite del swap, claro).
>
> Nuestra experiencia con R-64 bit para Linux y para Mac (muy
> recomendable, tiene la mejor interfaz) es muy buena. Con 8 GB RAM se
> pueden manejar conjuntos de varios gigas. La de Windows 64 bit sobre un
> Server la estamos probando, pero parece funcionar también muy bien.
>
> Saludos,
> Pedro
> --
> *Pedro Concejero
> Telefónica I+D <http://www.tid.es/>
> User Modelling - Analytic Models
> E-mail: pedro.concejero en tid.es
> *
>
>        [[alternative HTML version deleted]]
>
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>