Hola, ¿qué tal? Lo que te pasa no es tan raro: set.seed(1234) muestra <- abs(rnorm(100)) sd(muestra) #[1] 0.5811866 muestra.ceros <- c(muestra, rep(0, 100000)) sd(muestra.ceros) #[1] 0.03196273 En una muestra de números positivos, añadir un cero (sobre todo si está lejos de la media) sube la varianza. Si añado otro, posiblemente también. Pero cuando añado muchísimos ceros, la varianza tiende a cero. Si luego los quito, me quedo con la original: ¡la varianza crece a pesar de que la muestra está "más comprimida"! Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com P.D.: La desviación típica depende linealmente de la escala. El día 8 de noviembre de 2015, 12:16, Rubén Fernández-Casal <rubenfcasal en gmail.com> escribió:> La desviación típica no depende de la escala. Si incluyes valores que se > repiten o que tienen poca variabilidad sería de esperar que pase eso, > aunque sea en uno de los extremos... > > Un saludo, Rubén. > El 7/11/2015 9:43, "Albert Montolio" <albert.montolio en gmail.com> escribió: > >> Hola chic en s, >> >> tengo una pregunta teórica. Tengo la evolución de una variable en función >> del tiempo. Hay 145 valores. Los primeros 1 son 0, y los demás son >> crecientes. Calculo la desviacion estandard con R, contemplando las 145 >> muestras (incluyendo los 0), y las 132 muestras (sin incluir los ceros). >> >> Me da que la desviación estandard sin contemplar los 0 es mayor. Como >> puede ser? no le veo el sentido. >> >> Adjunto cálculos en excel. En principio, si quito el mínimo de la serie, >> los datos tendrian que estar mas comprimidos no? >> >> -- >> >> >> *Albert Montolio Aguado* >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es >> > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es
Es un problema de robustez. La desviación estandar lo es más bien poco (robusta). Al introducir ceros en tu muestra (incluso no tantos como en el ejemplo de Carlos), la media se deja arrastrar hacia cero y lo valores grandes de tu muestra aumentan el valor de sd. No pasaría eso si utilizase una medida más robusta como la desviación media absoluta (mad en R). Aquí un ejemplo proximo al tuyo:> set.seed(1234) > muestra<-rexp(100,5) > sd(muestra)[1] 0.1890845> muestra.ceros <- c(muestra, rep(0, 20)) > sd(muestra.ceros)[1] 0.1873116> mad(muestra)[1] 0.1818975> mad(muestra.ceros)[1] 0.1263505 Un saludo. Olivier ----- Mensaje original ----- De: "Carlos J. Gil Bellosta" <cgb en datanalytics.com> Para: "Rubén Fernández-Casal" <rubenfcasal en gmail.com> CC: "r-help-es" <R-help-es en r-project.org> Enviados: Domingo, 8 de Noviembre 2015 15:04:50 Asunto: Re: [R-es] desviacion estandard Hola, ¿qué tal? Lo que te pasa no es tan raro: set.seed(1234) muestra <- abs(rnorm(100)) sd(muestra) #[1] 0.5811866 muestra.ceros <- c(muestra, rep(0, 100000)) sd(muestra.ceros) #[1] 0.03196273 En una muestra de números positivos, añadir un cero (sobre todo si está lejos de la media) sube la varianza. Si añado otro, posiblemente también. Pero cuando añado muchísimos ceros, la varianza tiende a cero. Si luego los quito, me quedo con la original: ¡la varianza crece a pesar de que la muestra está "más comprimida"! Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com P.D.: La desviación típica depende linealmente de la escala. El día 8 de noviembre de 2015, 12:16, Rubén Fernández-Casal <rubenfcasal en gmail.com> escribió:> La desviación típica no depende de la escala. Si incluyes valores que se > repiten o que tienen poca variabilidad sería de esperar que pase eso, > aunque sea en uno de los extremos... > > Un saludo, Rubén. > El 7/11/2015 9:43, "Albert Montolio" <albert.montolio en gmail.com> escribió: > >> Hola chic en s, >> >> tengo una pregunta teórica. Tengo la evolución de una variable en función >> del tiempo. Hay 145 valores. Los primeros 1 son 0, y los demás son >> crecientes. Calculo la desviacion estandard con R, contemplando las 145 >> muestras (incluyendo los 0), y las 132 muestras (sin incluir los ceros). >> >> Me da que la desviación estandard sin contemplar los 0 es mayor. Como >> puede ser? no le veo el sentido. >> >> Adjunto cálculos en excel. En principio, si quito el mínimo de la serie, >> los datos tendrian que estar mas comprimidos no? >> >> -- >> >> >> *Albert Montolio Aguado* >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es >> > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Perdón Albert, mi explicación era algo fuera de lugar. No habia abierto el excel y mi ejemplo no se ajustaba en absoluto al tuyo. Para que el calculo de una varianza tenga sentido hace falta algo de regularidad. Tu serie no parece muy estacionaria y me temo que este tipo de medida no sean en este contexto muy adecuada. Igual deberías calcular la desviación tipica de las primeras diferencia o ajustar un modelo arima (función arima en R) Asi, si "x" es tu serie entera deberías obtener:> arima(x,order = c(1,1,0))Call: arima(x = x, order = c(1, 1, 0)) Coefficients: ar1 0.9918 s.e. 0.0066 sigma^2 estimated as 31.3: log likelihood = -454.31, aic = 912.62 Un saludo. Olivier ----- Mensaje original ----- De: "Olivier Nuñez" <onunez en unex.es> Para: "Carlos J. Gil Bellosta" <cgb en datanalytics.com> CC: "r-help-es" <R-help-es en r-project.org> Enviados: Lunes, 9 de Noviembre 2015 14:15:34 Asunto: Re: [R-es] desviacion estandard Es un problema de robustez. La desviación estandar lo es más bien poco (robusta). Al introducir ceros en tu muestra (incluso no tantos como en el ejemplo de Carlos), la media se deja arrastrar hacia cero y lo valores grandes de tu muestra aumentan el valor de sd. No pasaría eso si utilizase una medida más robusta como la desviación media absoluta (mad en R). Aquí un ejemplo proximo al tuyo:> set.seed(1234) > muestra<-rexp(100,5) > sd(muestra)[1] 0.1890845> muestra.ceros <- c(muestra, rep(0, 20)) > sd(muestra.ceros)[1] 0.1873116> mad(muestra)[1] 0.1818975> mad(muestra.ceros)[1] 0.1263505 Un saludo. Olivier ----- Mensaje original ----- De: "Carlos J. Gil Bellosta" <cgb en datanalytics.com> Para: "Rubén Fernández-Casal" <rubenfcasal en gmail.com> CC: "r-help-es" <R-help-es en r-project.org> Enviados: Domingo, 8 de Noviembre 2015 15:04:50 Asunto: Re: [R-es] desviacion estandard Hola, ¿qué tal? Lo que te pasa no es tan raro: set.seed(1234) muestra <- abs(rnorm(100)) sd(muestra) #[1] 0.5811866 muestra.ceros <- c(muestra, rep(0, 100000)) sd(muestra.ceros) #[1] 0.03196273 En una muestra de números positivos, añadir un cero (sobre todo si está lejos de la media) sube la varianza. Si añado otro, posiblemente también. Pero cuando añado muchísimos ceros, la varianza tiende a cero. Si luego los quito, me quedo con la original: ¡la varianza crece a pesar de que la muestra está "más comprimida"! Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com P.D.: La desviación típica depende linealmente de la escala. El día 8 de noviembre de 2015, 12:16, Rubén Fernández-Casal <rubenfcasal en gmail.com> escribió:> La desviación típica no depende de la escala. Si incluyes valores que se > repiten o que tienen poca variabilidad sería de esperar que pase eso, > aunque sea en uno de los extremos... > > Un saludo, Rubén. > El 7/11/2015 9:43, "Albert Montolio" <albert.montolio en gmail.com> escribió: > >> Hola chic en s, >> >> tengo una pregunta teórica. Tengo la evolución de una variable en función >> del tiempo. Hay 145 valores. Los primeros 1 son 0, y los demás son >> crecientes. Calculo la desviacion estandard con R, contemplando las 145 >> muestras (incluyendo los 0), y las 132 muestras (sin incluir los ceros). >> >> Me da que la desviación estandard sin contemplar los 0 es mayor. Como >> puede ser? no le veo el sentido. >> >> Adjunto cálculos en excel. En principio, si quito el mínimo de la serie, >> los datos tendrian que estar mas comprimidos no? >> >> -- >> >> >> *Albert Montolio Aguado* >> >> _______________________________________________ >> R-help-es mailing list >> R-help-es en r-project.org >> https://stat.ethz.ch/mailman/listinfo/r-help-es >> > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es_______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es