R help es - Mar 2011 - Error en cor, too many elements specified

Hola, tengo una serie de datos datExpr, al usar cor() :
cor(datExpr ,method = "pearson", use
="pairwise.complete.obs")
me da el siguiente error
allocMatrix: too many elements specified
Trate con "complete.obs", "na.or.complete", y el resto de
las opciones para "use", pero siempre me da algun error. 
¿Alguna idea de como puedo hacer que cor() lea todo mis datos?


Gracias
Estefanía



	[[alternative HTML version deleted]]

Buenas noches Estafania,

Podrias por favor enviarnos los resultados de

str(datExpr)
dim(datExpr)
sessionInfo()

?

Esta informacion nos ayudara a ayudarte.

Gracias,
Jorge Ivan Velez


2011/3/28 Estefania Ruiz Vargas <>
> Hola, tengo una serie de datos datExpr, al usar cor() :
> cor(datExpr ,method = "pearson", use
="pairwise.complete.obs")
> me da el siguiente error
> allocMatrix: too many elements specified
> Trate con "complete.obs", "na.or.complete", y el resto
de las opciones para
> "use", pero siempre me da algun error.
> ¿Alguna idea de como puedo hacer que cor() lea todo mis datos?
>
>
> Gracias
> Estefanía
>
>
>
>        [[alternative HTML version deleted]]
>
>
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>
	[[alternative HTML version deleted]]

claro, esto es lo que me da:


> str(datExpr)
 num [1:609, 1:209497] 0 0 0 0 0 0 0 0 0 0 ...
 - attr(*, "dimnames")=List of 2
  ..$ : chr [1:609] "X0" "X0.1" "X0.2"
"X0.3" ...
  ..$ : NULL

> dim(datExpr)
[1]    609 209497

> sessionInfo()
R version 2.12.2 (2011-02-25)
Platform: x86_64-unknown-linux-gnu (64-bit)


locale:
 [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C
 [3] LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8
 [5] LC_MONETARY=C              LC_MESSAGES=en_US.UTF-8
 [7] LC_PAPER=en_US.UTF-8       LC_NAME=C
 [9] LC_ADDRESS=C               LC_TELEPHONE=C
[11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C



attached base packages:
[1] splines   stats     graphics  grDevices utils     datasets  methods
[8] base


other attached packages:
 [1] WGCNA_1.00          qvalue_1.24.0       flashClust_1.00-3
 [4] moduleColor_1.08    dynamicTreeCut_1.21 Hmisc_3.8-3
 [7] survival_2.36-5     impute_1.24.0       cluster_1.13.3
[10] class_7.3-3         MASS_7.3-11


loaded via a namespace (and not attached):
[1] grid_2.12.2     lattice_0.19-17 tcltk_2.12.2    tools_2.12.2


Estefanía




----- Original Message -----
From: Jorge Ivan Velez <jorgeivanvelez@gmail.com>
Date: Monday, March 28, 2011 11:30 pm
Subject: Re: [R-es] Error en cor, too many elements specified
To: Estefania Ruiz Vargas <eruizvar@uwo.ca>
Cc: r-help-es@r-project.org
> Buenas noches Estafania,
> Podrias por favor enviarnos los resultados de  
> 
> str(datExpr)
> dim(datExpr) 
> sessionInfo()
> 
> ?
> 
> Esta informacion nos ayudara a ayudarte. 
> 
> Gracias,
> Jorge Ivan Velez 
> 
> 
> 2011/3/28 Estefania Ruiz Vargas <>
> Hola, tengo una serie de datos datExpr, al usar cor() :
> cor(datExpr ,method = "pearson", use
="pairwise.complete.obs")
> me da el siguiente error
> allocMatrix: too many elements specified
> Trate con "complete.obs", "na.or.complete", y el resto
de las opciones para "use", pero siempre me da algun error. 
> ¿Alguna idea de como puedo hacer que cor() lea todo mis datos?
> 
> 
> Gracias
> Estefanía
> 
> 
> 
>        [[alternative HTML version deleted]]
> 
> 
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
> 
> 

	[[alternative HTML version deleted]]

Hola Estefanía,

El problema que estás teniendo es un problema de memoria.

Inicialmente cuando lees tu matriz por primera vez seguramente no tengas
problemas, pero cuando ejecutas "cor", la función internamente creará
alguna
copia adicional de la matriz y en ese momento sobrepasas el límite de
memoria que R puede manejar en tu máquina y Sistema Operativo.

La solución a este problema, si quieres seguir trabajando con toda la matriz
original, es complicada, y pasa por que utilices las múltiples funciones que
gestionan memoria en R. Hay múltiples entradas en las listas de R sobre este
tema.

Como solución alternativa tienes desde utilizar librerías específicas para
manejar matrices muy grandes (ff, bigmemory, etc), hasta utilizar una
solución intermedia en la que realices la correlación en tu matriz pero por
partes más manejables. Dividiendo en dos o tres partes la matriz (por las
columnas, las filas no son problema). Seguramente aparecerán problemas
adicionales de cómo almacenar los resultados de la correlación, pero bueno,
piensa en ello y si efectivamente aparecen vuelves a preguntar a la lista.

Saludos,
Carlos Ortega
www.qualityexcellence.es


On Tue, Mar 29, 2011 at 5:51 AM, Estefania Ruiz Vargas
<eruizvar@uwo.ca>wrote:
> claro, esto es lo que me da:
>
>
>
> > str(datExpr)
>  num [1:609, 1:209497] 0 0 0 0 0 0 0 0 0 0 ...
>  - attr(*, "dimnames")=List of 2
>   ..$ : chr [1:609] "X0" "X0.1" "X0.2"
"X0.3" ...
>   ..$ : NULL
>
>
> > dim(datExpr)
> [1]    609 209497
>
>
> > sessionInfo()
> R version 2.12.2 (2011-02-25)
> Platform: x86_64-unknown-linux-gnu (64-bit)
>
>
> locale:
>  [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C
>  [3] LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8
>  [5] LC_MONETARY=C              LC_MESSAGES=en_US.UTF-8
>  [7] LC_PAPER=en_US.UTF-8       LC_NAME=C
>  [9] LC_ADDRESS=C               LC_TELEPHONE=C
> [11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C
>
>
>
> attached base packages:
> [1] splines   stats     graphics  grDevices utils     datasets  methods
> [8] base
>
>
> other attached packages:
>  [1] WGCNA_1.00          qvalue_1.24.0       flashClust_1.00-3
>  [4] moduleColor_1.08    dynamicTreeCut_1.21 Hmisc_3.8-3
>  [7] survival_2.36-5     impute_1.24.0       cluster_1.13.3
> [10] class_7.3-3         MASS_7.3-11
>
>
> loaded via a namespace (and not attached):
> [1] grid_2.12.2     lattice_0.19-17 tcltk_2.12.2    tools_2.12.2
>
>
> Estefanía
>
>
>
>
> ----- Original Message -----
> From: Jorge Ivan Velez <jorgeivanvelez@gmail.com>
> Date: Monday, March 28, 2011 11:30 pm
> Subject: Re: [R-es] Error en cor, too many elements specified
> To: Estefania Ruiz Vargas <eruizvar@uwo.ca>
> Cc: r-help-es@r-project.org
>
> > Buenas noches Estafania,
>
>
> > Podrias por favor enviarnos los resultados de
> >
>
> > str(datExpr)
> > dim(datExpr)
> > sessionInfo()
> >
>
> > ?
> >
>
> > Esta informacion nos ayudara a ayudarte.
> >
>
> > Gracias,
> > Jorge Ivan Velez
> >
>
> >
> > 2011/3/28 Estefania Ruiz Vargas <>
> > Hola, tengo una serie de datos datExpr, al usar cor() :
> > cor(datExpr ,method = "pearson", use
="pairwise.complete.obs")
> > me da el siguiente error
> > allocMatrix: too many elements specified
> > Trate con "complete.obs", "na.or.complete", y el
resto de las opciones
> para "use", pero siempre me da algun error.
> > ¿Alguna idea de como puedo hacer que cor() lea todo mis datos?
> >
> >
> > Gracias
> > Estefanía
> >
> >
> >
> >        [[alternative HTML version deleted]]
> >
> >
> > _______________________________________________
> > R-help-es mailing list
> > R-help-es@r-project.org
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
> >
>
>
>        [[alternative HTML version deleted]]
>
>
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>
	[[alternative HTML version deleted]]

Hola Estefania,

Gracias por la informacion.

Efectivamente se produce el error que reportas:
> x <- matrix(rnorm( 609*209497), ncol =  209497)
> dim(x)
[1]    609 209497
> C <- cor(x)
Error in cor(x) : allocMatrix: too many elements specified

Ya Carlos Ortega te ha dado algunas razones por las cuales esto ocurre y
posibles soluciones para ello.  Sin embargo, me gustaria preguntarte, solo
por curiosidad, cual es el objetivo final de ese analisis de correlacion.
 Teniendo en cuenta que el numero de correlaciones por pares que debes
calcular es
> choose(209497, 2)
[1]  21944391756

cual es el siguiente paso en tu analisis?

Un saludo,
Jorge Ivan Velez


On Mon, Mar 28, 2011 at 11:51 PM, Estefania Ruiz Vargas <> wrote:
> claro, esto es lo que me da:
>
>
>
> > str(datExpr)
>  num [1:609, 1:209497] 0 0 0 0 0 0 0 0 0 0 ...
>  - attr(*, "dimnames")=List of 2
>   ..$ : chr [1:609] "X0" "X0.1" "X0.2"
"X0.3" ...
>   ..$ : NULL
>
>
> > dim(datExpr)
> [1]    609 209497
>
>
> > sessionInfo()
> R version 2.12.2 (2011-02-25)
> Platform: x86_64-unknown-linux-gnu (64-bit)
>
>
> locale:
>  [1] LC_CTYPE=en_US.UTF-8       LC_NUMERIC=C
>  [3] LC_TIME=en_US.UTF-8        LC_COLLATE=en_US.UTF-8
>  [5] LC_MONETARY=C              LC_MESSAGES=en_US.UTF-8
>  [7] LC_PAPER=en_US.UTF-8       LC_NAME=C
>  [9] LC_ADDRESS=C               LC_TELEPHONE=C
> [11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C
>
>
>
> attached base packages:
> [1] splines   stats     graphics  grDevices utils     datasets  methods
> [8] base
>
>
> other attached packages:
>  [1] WGCNA_1.00          qvalue_1.24.0       flashClust_1.00-3
>  [4] moduleColor_1.08    dynamicTreeCut_1.21 Hmisc_3.8-3
>  [7] survival_2.36-5     impute_1.24.0       cluster_1.13.3
> [10] class_7.3-3         MASS_7.3-11
>
>
> loaded via a namespace (and not attached):
> [1] grid_2.12.2     lattice_0.19-17 tcltk_2.12.2    tools_2.12.2
>
>
> Estefanía
>
>
>
>
>
> ----- Original Message -----
> From: Jorge Ivan Velez <jorgeivanvelez@gmail.com>
> Date: Monday, March 28, 2011 11:30 pm
> Subject: Re: [R-es] Error en cor, too many elements specified
> To: Estefania Ruiz Vargas <eruizvar@uwo.ca>
> Cc: r-help-es@r-project.org
>
> > Buenas noches Estafania,
>
>
> > Podrias por favor enviarnos los resultados de
> >
>
> > str(datExpr)
> > dim(datExpr)
> > sessionInfo()
> >
>
> > ?
> >
>
> > Esta informacion nos ayudara a ayudarte.
> >
>
> > Gracias,
> > Jorge Ivan Velez
> >
>
> >
> > 2011/3/28 Estefania Ruiz Vargas <>
>
>> > Hola, tengo una serie de datos datExpr, al usar cor() :
>> > cor(datExpr ,method = "pearson", use
="pairwise.complete.obs")
>> > me da el siguiente error
>> > allocMatrix: too many elements specified
>> > Trate con "complete.obs", "na.or.complete", y
el resto de las opciones
>> para "use", pero siempre me da algun error.
>> > ¿Alguna idea de como puedo hacer que cor() lea todo mis datos?
>> >
>> >
>> > Gracias
>> > Estefanía
>> >
>> >
>> >
>> >        [[alternative HTML version deleted]]
>> >
>> >
>> > _______________________________________________
>> > R-help-es mailing list
>> > R-help-es@r-project.org
>> >
https://stat.ethz.ch/mailman/listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es>
>> >
>>
> >
>
	[[alternative HTML version deleted]]

Hola amigos de la lista.

Necesito ayuda con el test referido en el asunto, quisiera saber si en R 
está implementado y si alguien posee la teoría del mismo. Está descrito 
en: /Biometry, //Sokal/ RR, /Rohlf/ FJ (/1995/) pero no he podido 
adquirir esta bibliografía.


Abrazos a todos

Leonardo

//
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL:
<https://stat.ethz.ch/pipermail/r-help-es/attachments/20110329/53afc77f/attachment.html>
------------ próxima parte ------------
An embedded and charset-unspecified text was scrubbed...
Name: no disponible
URL:
<https://stat.ethz.ch/pipermail/r-help-es/attachments/20110329/53afc77f/attachment.pl>

Hola,

En el R-Help se preguntó por algo parecido (al menos por los mismos autores
y libro):

http://tolstoy.newcastle.edu.au/R/e3/help/07/11/4564.html

Saludos,
Carlos Ortega
www.qualityexcellence.es


2011/3/29 Leonardo Hernández Pérez <leonardo.hernandez@etecsa.cu>
>  Hola amigos de la lista.
>
> Necesito ayuda con el test referido en el asunto, quisiera saber si en R
> está implementado y si alguien posee la teoría del mismo. Está descrito en:
> *Biometry, **Sokal* RR, *Rohlf* FJ (*1995*) pero no he podido adquirir
> esta bibliografía.
>
>
> Abrazos a todos
>
> Leonardo
>
> **
>
> ---
> This message was processed by Kaspersky Mail Gateway 5.6.28/RELEASE running
> at host imx3.etecsa.cu
> Visit our web-site: <http://www.kaspersky.com>,
<http://www.viruslist.com>
>
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>
	[[alternative HTML version deleted]]

Si no he entendido mal los mensajes, en el hilo que cita Carlos se 
discuten los métodos planificados de comparaciones múltiples que también 
aparecen en el mismo texto que cita Leonardo, pero la pregunta de 
Leonardo no es sobre las comparaciones múltiples sino sobre el análisis 
no paramétrico.

Yo el texto que tengo es el de la primera edición de Sokal y Rohlf de 
1969, pero por lo que aparece en otros textos como puede ser Zar de 
2010, Conover y otros, la cuestión no ha cambiado sustancialmente desde 
1969: El "Non-parametric two-way Anova" es el test de Friedman que  
puedes encontrar en el paquetes stats en su forma básica (test de 
conjunto de los tratamientos sin comparaciones múltiples) algo más 
desarrollado en agricolae, creo que incluye algua variante del test de 
Tukey y en pgyrmess aparecen también las comparaciones múltiples del test.

Hasta donde yo sé, lo que no está implementado y ha salido en varios 
hilos de R internacionales es el caso con repeticiones que está 
perfectamente estudiado (no tengo la bibliografía a mano) pero creo que 
no está implementado: stats y spss no lo consideran este caso y 
agricolae se limita a sustituir cada valor de cada casilla por el 
promedio de la casilla antes de aplicar el test de Friedman sin 
repeticiones.

Creo recordar que un foro internacional se citó que había una 
implementación en SAS pero que había sido retirada para su corrección, 
de esto hace un par de años y no he vuelto sobre el tema.

Yo respondo por tanto en parte: quizá lo que pide Leonardo está en 
stats, agricolae y pgyrmess.

Pero amplio la petición: falta el caso con repeticiones en las casillas 
(que por cierto Sokal y Rohlf en la edición de 1969 no lo contemplan).

¿Sabe alguien si se ha implementado en algún paquete el test de Friedman 
con repeticiones en las casillas?

Saludos.

Carlos Ortega escribió:
> Hola,
>
> En el R-Help se preguntó por algo parecido (al menos por los mismos autores
> y libro):
>
> http://tolstoy.newcastle.edu.au/R/e3/help/07/11/4564.html
>
> Saludos,
> Carlos Ortega
> www.qualityexcellence.es
>
>
> 2011/3/29 Leonardo Hernández Pérez <leonardo.hernandez en etecsa.cu>
>
>   
>>  Hola amigos de la lista.
>>
>> Necesito ayuda con el test referido en el asunto, quisiera saber si en
R
>> está implementado y si alguien posee la teoría del mismo. Está descrito
en:
>> *Biometry, **Sokal* RR, *Rohlf* FJ (*1995*) pero no he podido adquirir
>> esta bibliografía.
>>
>>
>> Abrazos a todos
>>
>> Leonardo
>>
>> **
>>
>> ---
>> This message was processed by Kaspersky Mail Gateway 5.6.28/RELEASE
running
>> at host imx3.etecsa.cu
>> Visit our web-site: <http://www.kaspersky.com>,
<http://www.viruslist.com>
>>
>> _______________________________________________
>> R-help-es mailing list
>> R-help-es en r-project.org
>> https://stat.ethz.ch/mailman/listinfo/r-help-es
>>
>>
>>     
>
> 	[[alternative HTML version deleted]]
>
>   
> ------------------------------------------------------------------------
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>   
-- 
_____---^---_____

Univ. de Extremadura
Dept. Matemáticas.
Despacho B29
Tf: + 34 924 289 300
Ext. 86823