Estefania Ruiz Vargas
2011-Mar-29 03:23 UTC
[R-es] Error en cor, too many elements specified
Hola, tengo una serie de datos datExpr, al usar cor() : cor(datExpr ,method = "pearson", use ="pairwise.complete.obs") me da el siguiente error allocMatrix: too many elements specified Trate con "complete.obs", "na.or.complete", y el resto de las opciones para "use", pero siempre me da algun error. ¿Alguna idea de como puedo hacer que cor() lea todo mis datos? Gracias Estefanía [[alternative HTML version deleted]]
Buenas noches Estafania, Podrias por favor enviarnos los resultados de str(datExpr) dim(datExpr) sessionInfo() ? Esta informacion nos ayudara a ayudarte. Gracias, Jorge Ivan Velez 2011/3/28 Estefania Ruiz Vargas <>> Hola, tengo una serie de datos datExpr, al usar cor() : > cor(datExpr ,method = "pearson", use ="pairwise.complete.obs") > me da el siguiente error > allocMatrix: too many elements specified > Trate con "complete.obs", "na.or.complete", y el resto de las opciones para > "use", pero siempre me da algun error. > ¿Alguna idea de como puedo hacer que cor() lea todo mis datos? > > > Gracias > Estefanía > > > > [[alternative HTML version deleted]] > > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > >[[alternative HTML version deleted]]
Estefania Ruiz Vargas
2011-Mar-29 03:51 UTC
[R-es] Error en cor, too many elements specified
claro, esto es lo que me da:> str(datExpr)num [1:609, 1:209497] 0 0 0 0 0 0 0 0 0 0 ... - attr(*, "dimnames")=List of 2 ..$ : chr [1:609] "X0" "X0.1" "X0.2" "X0.3" ... ..$ : NULL> dim(datExpr)[1] 609 209497> sessionInfo()R version 2.12.2 (2011-02-25) Platform: x86_64-unknown-linux-gnu (64-bit) locale: [1] LC_CTYPE=en_US.UTF-8 LC_NUMERIC=C [3] LC_TIME=en_US.UTF-8 LC_COLLATE=en_US.UTF-8 [5] LC_MONETARY=C LC_MESSAGES=en_US.UTF-8 [7] LC_PAPER=en_US.UTF-8 LC_NAME=C [9] LC_ADDRESS=C LC_TELEPHONE=C [11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C attached base packages: [1] splines stats graphics grDevices utils datasets methods [8] base other attached packages: [1] WGCNA_1.00 qvalue_1.24.0 flashClust_1.00-3 [4] moduleColor_1.08 dynamicTreeCut_1.21 Hmisc_3.8-3 [7] survival_2.36-5 impute_1.24.0 cluster_1.13.3 [10] class_7.3-3 MASS_7.3-11 loaded via a namespace (and not attached): [1] grid_2.12.2 lattice_0.19-17 tcltk_2.12.2 tools_2.12.2 Estefanía ----- Original Message ----- From: Jorge Ivan Velez <jorgeivanvelez@gmail.com> Date: Monday, March 28, 2011 11:30 pm Subject: Re: [R-es] Error en cor, too many elements specified To: Estefania Ruiz Vargas <eruizvar@uwo.ca> Cc: r-help-es@r-project.org> Buenas noches Estafania,> Podrias por favor enviarnos los resultados de >> str(datExpr) > dim(datExpr) > sessionInfo() >> ? >> Esta informacion nos ayudara a ayudarte. >> Gracias, > Jorge Ivan Velez >> > 2011/3/28 Estefania Ruiz Vargas <> > Hola, tengo una serie de datos datExpr, al usar cor() : > cor(datExpr ,method = "pearson", use ="pairwise.complete.obs") > me da el siguiente error > allocMatrix: too many elements specified > Trate con "complete.obs", "na.or.complete", y el resto de las opciones para "use", pero siempre me da algun error. > ¿Alguna idea de como puedo hacer que cor() lea todo mis datos? > > > Gracias > Estefanía > > > > [[alternative HTML version deleted]] > > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > >[[alternative HTML version deleted]]
Hola Estefanía, El problema que estás teniendo es un problema de memoria. Inicialmente cuando lees tu matriz por primera vez seguramente no tengas problemas, pero cuando ejecutas "cor", la función internamente creará alguna copia adicional de la matriz y en ese momento sobrepasas el límite de memoria que R puede manejar en tu máquina y Sistema Operativo. La solución a este problema, si quieres seguir trabajando con toda la matriz original, es complicada, y pasa por que utilices las múltiples funciones que gestionan memoria en R. Hay múltiples entradas en las listas de R sobre este tema. Como solución alternativa tienes desde utilizar librerías específicas para manejar matrices muy grandes (ff, bigmemory, etc), hasta utilizar una solución intermedia en la que realices la correlación en tu matriz pero por partes más manejables. Dividiendo en dos o tres partes la matriz (por las columnas, las filas no son problema). Seguramente aparecerán problemas adicionales de cómo almacenar los resultados de la correlación, pero bueno, piensa en ello y si efectivamente aparecen vuelves a preguntar a la lista. Saludos, Carlos Ortega www.qualityexcellence.es On Tue, Mar 29, 2011 at 5:51 AM, Estefania Ruiz Vargas <eruizvar@uwo.ca>wrote:> claro, esto es lo que me da: > > > > > str(datExpr) > num [1:609, 1:209497] 0 0 0 0 0 0 0 0 0 0 ... > - attr(*, "dimnames")=List of 2 > ..$ : chr [1:609] "X0" "X0.1" "X0.2" "X0.3" ... > ..$ : NULL > > > > dim(datExpr) > [1] 609 209497 > > > > sessionInfo() > R version 2.12.2 (2011-02-25) > Platform: x86_64-unknown-linux-gnu (64-bit) > > > locale: > [1] LC_CTYPE=en_US.UTF-8 LC_NUMERIC=C > [3] LC_TIME=en_US.UTF-8 LC_COLLATE=en_US.UTF-8 > [5] LC_MONETARY=C LC_MESSAGES=en_US.UTF-8 > [7] LC_PAPER=en_US.UTF-8 LC_NAME=C > [9] LC_ADDRESS=C LC_TELEPHONE=C > [11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C > > > > attached base packages: > [1] splines stats graphics grDevices utils datasets methods > [8] base > > > other attached packages: > [1] WGCNA_1.00 qvalue_1.24.0 flashClust_1.00-3 > [4] moduleColor_1.08 dynamicTreeCut_1.21 Hmisc_3.8-3 > [7] survival_2.36-5 impute_1.24.0 cluster_1.13.3 > [10] class_7.3-3 MASS_7.3-11 > > > loaded via a namespace (and not attached): > [1] grid_2.12.2 lattice_0.19-17 tcltk_2.12.2 tools_2.12.2 > > > Estefanía > > > > > ----- Original Message ----- > From: Jorge Ivan Velez <jorgeivanvelez@gmail.com> > Date: Monday, March 28, 2011 11:30 pm > Subject: Re: [R-es] Error en cor, too many elements specified > To: Estefania Ruiz Vargas <eruizvar@uwo.ca> > Cc: r-help-es@r-project.org > > > Buenas noches Estafania, > > > > Podrias por favor enviarnos los resultados de > > > > > str(datExpr) > > dim(datExpr) > > sessionInfo() > > > > > ? > > > > > Esta informacion nos ayudara a ayudarte. > > > > > Gracias, > > Jorge Ivan Velez > > > > > > > 2011/3/28 Estefania Ruiz Vargas <> > > Hola, tengo una serie de datos datExpr, al usar cor() : > > cor(datExpr ,method = "pearson", use ="pairwise.complete.obs") > > me da el siguiente error > > allocMatrix: too many elements specified > > Trate con "complete.obs", "na.or.complete", y el resto de las opciones > para "use", pero siempre me da algun error. > > ¿Alguna idea de como puedo hacer que cor() lea todo mis datos? > > > > > > Gracias > > Estefanía > > > > > > > > [[alternative HTML version deleted]] > > > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es@r-project.org > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > > > > [[alternative HTML version deleted]] > > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > >[[alternative HTML version deleted]]
Hola Estefania, Gracias por la informacion. Efectivamente se produce el error que reportas:> x <- matrix(rnorm( 609*209497), ncol = 209497) > dim(x)[1] 609 209497> C <- cor(x)Error in cor(x) : allocMatrix: too many elements specified Ya Carlos Ortega te ha dado algunas razones por las cuales esto ocurre y posibles soluciones para ello. Sin embargo, me gustaria preguntarte, solo por curiosidad, cual es el objetivo final de ese analisis de correlacion. Teniendo en cuenta que el numero de correlaciones por pares que debes calcular es> choose(209497, 2)[1] 21944391756 cual es el siguiente paso en tu analisis? Un saludo, Jorge Ivan Velez On Mon, Mar 28, 2011 at 11:51 PM, Estefania Ruiz Vargas <> wrote:> claro, esto es lo que me da: > > > > > str(datExpr) > num [1:609, 1:209497] 0 0 0 0 0 0 0 0 0 0 ... > - attr(*, "dimnames")=List of 2 > ..$ : chr [1:609] "X0" "X0.1" "X0.2" "X0.3" ... > ..$ : NULL > > > > dim(datExpr) > [1] 609 209497 > > > > sessionInfo() > R version 2.12.2 (2011-02-25) > Platform: x86_64-unknown-linux-gnu (64-bit) > > > locale: > [1] LC_CTYPE=en_US.UTF-8 LC_NUMERIC=C > [3] LC_TIME=en_US.UTF-8 LC_COLLATE=en_US.UTF-8 > [5] LC_MONETARY=C LC_MESSAGES=en_US.UTF-8 > [7] LC_PAPER=en_US.UTF-8 LC_NAME=C > [9] LC_ADDRESS=C LC_TELEPHONE=C > [11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C > > > > attached base packages: > [1] splines stats graphics grDevices utils datasets methods > [8] base > > > other attached packages: > [1] WGCNA_1.00 qvalue_1.24.0 flashClust_1.00-3 > [4] moduleColor_1.08 dynamicTreeCut_1.21 Hmisc_3.8-3 > [7] survival_2.36-5 impute_1.24.0 cluster_1.13.3 > [10] class_7.3-3 MASS_7.3-11 > > > loaded via a namespace (and not attached): > [1] grid_2.12.2 lattice_0.19-17 tcltk_2.12.2 tools_2.12.2 > > > Estefanía > > > > > > ----- Original Message ----- > From: Jorge Ivan Velez <jorgeivanvelez@gmail.com> > Date: Monday, March 28, 2011 11:30 pm > Subject: Re: [R-es] Error en cor, too many elements specified > To: Estefania Ruiz Vargas <eruizvar@uwo.ca> > Cc: r-help-es@r-project.org > > > Buenas noches Estafania, > > > > Podrias por favor enviarnos los resultados de > > > > > str(datExpr) > > dim(datExpr) > > sessionInfo() > > > > > ? > > > > > Esta informacion nos ayudara a ayudarte. > > > > > Gracias, > > Jorge Ivan Velez > > > > > > > 2011/3/28 Estefania Ruiz Vargas <> > >> > Hola, tengo una serie de datos datExpr, al usar cor() : >> > cor(datExpr ,method = "pearson", use ="pairwise.complete.obs") >> > me da el siguiente error >> > allocMatrix: too many elements specified >> > Trate con "complete.obs", "na.or.complete", y el resto de las opciones >> para "use", pero siempre me da algun error. >> > ¿Alguna idea de como puedo hacer que cor() lea todo mis datos? >> > >> > >> > Gracias >> > Estefanía >> > >> > >> > >> > [[alternative HTML version deleted]] >> > >> > >> > _______________________________________________ >> > R-help-es mailing list >> > R-help-es@r-project.org >> > https://stat.ethz.ch/mailman/listinfo/r-help-es<https://stat.ethz.ch/mailman/listinfo/r-help-es> >> > >> > > >[[alternative HTML version deleted]]
Leonardo Hernández Pérez
2011-Mar-29 20:57 UTC
[R-es] Ayuda con Non-parametric two-way Anova (Anova bifactorial no paramétrico)
Hola amigos de la lista. Necesito ayuda con el test referido en el asunto, quisiera saber si en R está implementado y si alguien posee la teoría del mismo. Está descrito en: /Biometry, //Sokal/ RR, /Rohlf/ FJ (/1995/) pero no he podido adquirir esta bibliografía. Abrazos a todos Leonardo // ------------ próxima parte ------------ Se ha borrado un adjunto en formato HTML... URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20110329/53afc77f/attachment.html> ------------ próxima parte ------------ An embedded and charset-unspecified text was scrubbed... Name: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20110329/53afc77f/attachment.pl>
Carlos Ortega
2011-Mar-29 23:19 UTC
[R-es] Ayuda con Non-parametric two-way Anova (Anova bifactorial no paramétrico)
Hola, En el R-Help se preguntó por algo parecido (al menos por los mismos autores y libro): http://tolstoy.newcastle.edu.au/R/e3/help/07/11/4564.html Saludos, Carlos Ortega www.qualityexcellence.es 2011/3/29 Leonardo Hernández Pérez <leonardo.hernandez@etecsa.cu>> Hola amigos de la lista. > > Necesito ayuda con el test referido en el asunto, quisiera saber si en R > está implementado y si alguien posee la teoría del mismo. Está descrito en: > *Biometry, **Sokal* RR, *Rohlf* FJ (*1995*) pero no he podido adquirir > esta bibliografía. > > > Abrazos a todos > > Leonardo > > ** > > --- > This message was processed by Kaspersky Mail Gateway 5.6.28/RELEASE running > at host imx3.etecsa.cu > Visit our web-site: <http://www.kaspersky.com>, <http://www.viruslist.com> > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > >[[alternative HTML version deleted]]
José Trujillo Carmona
2011-Mar-30 08:10 UTC
[R-es] Ayuda con Non-parametric two-way Anova (Anova bifactorial no paramétrico)
Si no he entendido mal los mensajes, en el hilo que cita Carlos se discuten los métodos planificados de comparaciones múltiples que también aparecen en el mismo texto que cita Leonardo, pero la pregunta de Leonardo no es sobre las comparaciones múltiples sino sobre el análisis no paramétrico. Yo el texto que tengo es el de la primera edición de Sokal y Rohlf de 1969, pero por lo que aparece en otros textos como puede ser Zar de 2010, Conover y otros, la cuestión no ha cambiado sustancialmente desde 1969: El "Non-parametric two-way Anova" es el test de Friedman que puedes encontrar en el paquetes stats en su forma básica (test de conjunto de los tratamientos sin comparaciones múltiples) algo más desarrollado en agricolae, creo que incluye algua variante del test de Tukey y en pgyrmess aparecen también las comparaciones múltiples del test. Hasta donde yo sé, lo que no está implementado y ha salido en varios hilos de R internacionales es el caso con repeticiones que está perfectamente estudiado (no tengo la bibliografía a mano) pero creo que no está implementado: stats y spss no lo consideran este caso y agricolae se limita a sustituir cada valor de cada casilla por el promedio de la casilla antes de aplicar el test de Friedman sin repeticiones. Creo recordar que un foro internacional se citó que había una implementación en SAS pero que había sido retirada para su corrección, de esto hace un par de años y no he vuelto sobre el tema. Yo respondo por tanto en parte: quizá lo que pide Leonardo está en stats, agricolae y pgyrmess. Pero amplio la petición: falta el caso con repeticiones en las casillas (que por cierto Sokal y Rohlf en la edición de 1969 no lo contemplan). ¿Sabe alguien si se ha implementado en algún paquete el test de Friedman con repeticiones en las casillas? Saludos. Carlos Ortega escribió:> Hola, > > En el R-Help se preguntó por algo parecido (al menos por los mismos autores > y libro): > > http://tolstoy.newcastle.edu.au/R/e3/help/07/11/4564.html > > Saludos, > Carlos Ortega > www.qualityexcellence.es > > > 2011/3/29 Leonardo Hernández Pérez <leonardo.hernandez en etecsa.cu> > > >> Hola amigos de la lista. >> >> Necesito ayuda con el test referido en el asunto, quisiera saber si en R >> está implementado y si alguien posee la teoría del mismo. Está descrito en: >> *Biometry, **Sokal* RR, *Rohlf* FJ (*1995*) pero no he podido adquirir >> esta bibliografía. >> >> >> Abrazos a todos >> >> Leonardo >> >> ** >> >> --- >> This message was processed by Kaspersky Mail Gateway 5.6.28/RELEASE running >> at host imx3.etecsa.cu >> Visit our web-site: <http://www.kaspersky.com>, <http://www.viruslist.com> >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es >> >> >> > > [[alternative HTML version deleted]] > > > ------------------------------------------------------------------------ > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es >-- _____---^---_____ Univ. de Extremadura Dept. Matemáticas. Despacho B29 Tf: + 34 924 289 300 Ext. 86823