OK. Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que quieras). Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de memoria. Y comienza una nueva sesión con RStudio cargando los datos con "fread()". Por otro lado, este conjunto de datos ¿cómo es de grande (filas y columnas)?. ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?. Gracias, Carlos. El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres < antoniorodriguezandres70 en gmail.com> escribió:> Carlos > > use library foreign, y read.dta. Consegui leer los datos. Pero demora > mucho. explore los datos con head y tail, y con summary. Conseguis los > resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia > cannot allocate memory. > > Pense que podria leer los datos de otra manera mas eficiente. > > El 6/12/2017 13:32, "Carlos Ortega" <cof en qualityexcellence.es> escribió: > >> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido de >> Stata a csv o algún otro formato que con el que puedas trabajar en RStudio?. >> ¿O ahora el problema es que has convertido el fichero pero no puedes >> hacer ningún tipo de análisis porque tu equipo no tiene suficientes >> recursos?... >> >> Gracias, >> Carlos. >> >> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres < >> antoniorodriguezandres70 en gmail.com> escribió: >> >>> He llegado hacer un summary o algo asi. Despues de leerlo pero tarda >>> mucho. >>> Y si hago un histograma de una variable edad, hay colapsa. >>> >>> El 6/12/2017 13:05, "Antonio Rodriguez Andres" < >>> antoniorodriguezandres70 en gmail.com> escribió: >>> >>> > Freddy >>> > >>> > el archivo lo leo en segundos en Stata. puedo probar el paquete heaven. >>> > Pero si recuerdo me dio problemas en RStudio >>> > >>> > El 6/12/2017 13:03, "Freddy Omar López Quintero" < >>> freddy.vate01 en gmail.com> >>> > escribió: >>> > >>> >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres >>> escribió: >>> >> >>> >> me sale problema >>> >> de memoria. >>> >> >>> >> >>> >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para procesar >>> un >>> >> archivo de tales dimensiones? Puede que ni aún cambiando la manera de >>> leer >>> >> el archivo realmente lo puedas procesar. >>> >> >>> >> >>> >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar >>> el >>> >> comando fread, y finalmente cargar los datos como RData >>> >> >>> >> >>> >> ¿Has probado el paquete haven y específicamente su función read_dta? >>> >> Parece que es bastante más eficiente que la de foreign y preserva más >>> >> características que trae el formato de stata. >>> >> >>> >> ¡Ojalá algo sirva! >>> >> >>> >> ¡Salud! >>> >> >>> >> -- >>> >> >>> >> «...homines autem hominum causa esse generatos...» >>> >> >>> >> Cicero >>> >> >>> > >>> >>> [[alternative HTML version deleted]] >>> >>> _______________________________________________ >>> R-help-es mailing list >>> R-help-es en r-project.org >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>> >> >> >> >> -- >> Saludos, >> Carlos Ortega >> www.qualityexcellence.es >> >-- Saludos, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]]
Gracias Carlos. Voy a probar y te digo. El 6/12/2017 13:49, "Carlos Ortega" <cof en qualityexcellence.es> escribió:> OK. > Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que > quieras). > Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de > memoria. > > Y comienza una nueva sesión con RStudio cargando los datos con "fread()". > Por otro lado, este conjunto de datos ¿cómo es de grande (filas y > columnas)?. > > ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?. > > Gracias, > Carlos. > > > El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres < > antoniorodriguezandres70 en gmail.com> escribió: > >> Carlos >> >> use library foreign, y read.dta. Consegui leer los datos. Pero demora >> mucho. explore los datos con head y tail, y con summary. Conseguis los >> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia >> cannot allocate memory. >> >> Pense que podria leer los datos de otra manera mas eficiente. >> >> El 6/12/2017 13:32, "Carlos Ortega" <cof en qualityexcellence.es> escribió: >> >>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido >>> de Stata a csv o algún otro formato que con el que puedas trabajar en >>> RStudio?. >>> ¿O ahora el problema es que has convertido el fichero pero no puedes >>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes >>> recursos?... >>> >>> Gracias, >>> Carlos. >>> >>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres < >>> antoniorodriguezandres70 en gmail.com> escribió: >>> >>>> He llegado hacer un summary o algo asi. Despues de leerlo pero tarda >>>> mucho. >>>> Y si hago un histograma de una variable edad, hay colapsa. >>>> >>>> El 6/12/2017 13:05, "Antonio Rodriguez Andres" < >>>> antoniorodriguezandres70 en gmail.com> escribió: >>>> >>>> > Freddy >>>> > >>>> > el archivo lo leo en segundos en Stata. puedo probar el paquete >>>> heaven. >>>> > Pero si recuerdo me dio problemas en RStudio >>>> > >>>> > El 6/12/2017 13:03, "Freddy Omar López Quintero" < >>>> freddy.vate01 en gmail.com> >>>> > escribió: >>>> > >>>> >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres >>>> escribió: >>>> >> >>>> >> me sale problema >>>> >> de memoria. >>>> >> >>>> >> >>>> >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para >>>> procesar un >>>> >> archivo de tales dimensiones? Puede que ni aún cambiando la manera >>>> de leer >>>> >> el archivo realmente lo puedas procesar. >>>> >> >>>> >> >>>> >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar >>>> el >>>> >> comando fread, y finalmente cargar los datos como RData >>>> >> >>>> >> >>>> >> ¿Has probado el paquete haven y específicamente su función read_dta? >>>> >> Parece que es bastante más eficiente que la de foreign y preserva más >>>> >> características que trae el formato de stata. >>>> >> >>>> >> ¡Ojalá algo sirva! >>>> >> >>>> >> ¡Salud! >>>> >> >>>> >> -- >>>> >> >>>> >> «...homines autem hominum causa esse generatos...» >>>> >> >>>> >> Cicero >>>> >> >>>> > >>>> >>>> [[alternative HTML version deleted]] >>>> >>>> _______________________________________________ >>>> R-help-es mailing list >>>> R-help-es en r-project.org >>>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>>> >>> >>> >>> >>> -- >>> Saludos, >>> Carlos Ortega >>> www.qualityexcellence.es >>> >> > > > -- > Saludos, > Carlos Ortega > www.qualityexcellence.es >[[alternative HTML version deleted]]
Carlos He tecleado lo siguiente para leer el fichero de Stata library(foreign) datos = as.data.frame(read.dta("private98-06more_than9.dta")) save(datos, file="data.RData") load("data.RData") dim(datos) class(datos) Tiene ese numero de filas y columnas que son las variables. dim(datos)[1] 9418455 28 Mi memoria RAM es 4GB, pero he conseguido leer los datos, y tambien hacer un histograma de age, aunque es dificil ver algo por la cantidad de individuos que hay en la base de datos. hist(datos$age, main="Titulo", xlab="Age") Ya cuando intento ver los valores perdidos con is.na(datos) me sale error Error: cannot allocate vector of size 1006.0 Mb Saludos 2017-12-06 13:49 GMT+01:00 Carlos Ortega <cof en qualityexcellence.es>:> OK. > Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que > quieras). > Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de > memoria. > > Y comienza una nueva sesión con RStudio cargando los datos con "fread()". > Por otro lado, este conjunto de datos ¿cómo es de grande (filas y > columnas)?. > > ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?. > > Gracias, > Carlos. > > > El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres < > antoniorodriguezandres70 en gmail.com> escribió: > >> Carlos >> >> use library foreign, y read.dta. Consegui leer los datos. Pero demora >> mucho. explore los datos con head y tail, y con summary. Conseguis los >> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia >> cannot allocate memory. >> >> Pense que podria leer los datos de otra manera mas eficiente. >> >> El 6/12/2017 13:32, "Carlos Ortega" <cof en qualityexcellence.es> escribió: >> >>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido >>> de Stata a csv o algún otro formato que con el que puedas trabajar en >>> RStudio?. >>> ¿O ahora el problema es que has convertido el fichero pero no puedes >>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes >>> recursos?... >>> >>> Gracias, >>> Carlos. >>> >>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres < >>> antoniorodriguezandres70 en gmail.com> escribió: >>> >>>> He llegado hacer un summary o algo asi. Despues de leerlo pero tarda >>>> mucho. >>>> Y si hago un histograma de una variable edad, hay colapsa. >>>> >>>> El 6/12/2017 13:05, "Antonio Rodriguez Andres" < >>>> antoniorodriguezandres70 en gmail.com> escribió: >>>> >>>> > Freddy >>>> > >>>> > el archivo lo leo en segundos en Stata. puedo probar el paquete >>>> heaven. >>>> > Pero si recuerdo me dio problemas en RStudio >>>> > >>>> > El 6/12/2017 13:03, "Freddy Omar López Quintero" < >>>> freddy.vate01 en gmail.com> >>>> > escribió: >>>> > >>>> >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres >>>> escribió: >>>> >> >>>> >> me sale problema >>>> >> de memoria. >>>> >> >>>> >> >>>> >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para >>>> procesar un >>>> >> archivo de tales dimensiones? Puede que ni aún cambiando la manera >>>> de leer >>>> >> el archivo realmente lo puedas procesar. >>>> >> >>>> >> >>>> >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar >>>> el >>>> >> comando fread, y finalmente cargar los datos como RData >>>> >> >>>> >> >>>> >> ¿Has probado el paquete haven y específicamente su función read_dta? >>>> >> Parece que es bastante más eficiente que la de foreign y preserva más >>>> >> características que trae el formato de stata. >>>> >> >>>> >> ¡Ojalá algo sirva! >>>> >> >>>> >> ¡Salud! >>>> >> >>>> >> -- >>>> >> >>>> >> «...homines autem hominum causa esse generatos...» >>>> >> >>>> >> Cicero >>>> >> >>>> > >>>> >>>> [[alternative HTML version deleted]] >>>> >>>> _______________________________________________ >>>> R-help-es mailing list >>>> R-help-es en r-project.org >>>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>>> >>> >>> >>> >>> -- >>> Saludos, >>> Carlos Ortega >>> www.qualityexcellence.es >>> >> > > > -- > Saludos, > Carlos Ortega > www.qualityexcellence.es >-- Member, Editorial Committee, *The Economic and Labour Relations Review* (a SAGE journal) http://elr.sagepub.com/ Member, Editorial Committee, African Journal of Economic and Management Studies http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile) [[alternative HTML version deleted]]
Estimados Pienso que falta memoria, aparte de las sugerencias ya aportadas, de pronto se podrían colocar algunos rm(liberar_de_memoria), para no tener ocupado espacio que no es requerido porque ese paso ya fue realizado. Javier Rubén Marcuzzi El 6 de diciembre de 2017, 13:58, Antonio Rodriguez Andres < antoniorodriguezandres70 en gmail.com> escribió:> Carlos > He tecleado lo siguiente para leer el fichero de Stata > > library(foreign) > datos = as.data.frame(read.dta("private98-06more_than9.dta")) > save(datos, file="data.RData") > load("data.RData") > dim(datos) > class(datos) > > Tiene ese numero de filas y columnas que son las variables. > > dim(datos)[1] 9418455 28 > > Mi memoria RAM es 4GB, pero he conseguido leer los datos, y tambien > hacer un histograma de age, aunque es dificil ver algo por la cantidad > de individuos que hay en la base de datos. > > hist(datos$age, main="Titulo", xlab="Age") > > Ya cuando intento ver los valores perdidos con > > is.na(datos) me sale error > > > Error: cannot allocate vector of size 1006.0 Mb > > Saludos > > > > 2017-12-06 13:49 GMT+01:00 Carlos Ortega <cof en qualityexcellence.es>: > > > OK. > > Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que > > quieras). > > Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de > > memoria. > > > > Y comienza una nueva sesión con RStudio cargando los datos con "fread()". > > Por otro lado, este conjunto de datos ¿cómo es de grande (filas y > > columnas)?. > > > > ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?. > > > > Gracias, > > Carlos. > > > > > > El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres < > > antoniorodriguezandres70 en gmail.com> escribió: > > > >> Carlos > >> > >> use library foreign, y read.dta. Consegui leer los datos. Pero demora > >> mucho. explore los datos con head y tail, y con summary. Conseguis los > >> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia > >> cannot allocate memory. > >> > >> Pense que podria leer los datos de otra manera mas eficiente. > >> > >> El 6/12/2017 13:32, "Carlos Ortega" <cof en qualityexcellence.es> > escribió: > >> > >>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido > >>> de Stata a csv o algún otro formato que con el que puedas trabajar en > >>> RStudio?. > >>> ¿O ahora el problema es que has convertido el fichero pero no puedes > >>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes > >>> recursos?... > >>> > >>> Gracias, > >>> Carlos. > >>> > >>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres < > >>> antoniorodriguezandres70 en gmail.com> escribió: > >>> > >>>> He llegado hacer un summary o algo asi. Despues de leerlo pero tarda > >>>> mucho. > >>>> Y si hago un histograma de una variable edad, hay colapsa. > >>>> > >>>> El 6/12/2017 13:05, "Antonio Rodriguez Andres" < > >>>> antoniorodriguezandres70 en gmail.com> escribió: > >>>> > >>>> > Freddy > >>>> > > >>>> > el archivo lo leo en segundos en Stata. puedo probar el paquete > >>>> heaven. > >>>> > Pero si recuerdo me dio problemas en RStudio > >>>> > > >>>> > El 6/12/2017 13:03, "Freddy Omar López Quintero" < > >>>> freddy.vate01 en gmail.com> > >>>> > escribió: > >>>> > > >>>> >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres > >>>> escribió: > >>>> >> > >>>> >> me sale problema > >>>> >> de memoria. > >>>> >> > >>>> >> > >>>> >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para > >>>> procesar un > >>>> >> archivo de tales dimensiones? Puede que ni aún cambiando la manera > >>>> de leer > >>>> >> el archivo realmente lo puedas procesar. > >>>> >> > >>>> >> > >>>> >> Entonces, una solucion es intentar pasar de STATA a CSV y luego > usar > >>>> el > >>>> >> comando fread, y finalmente cargar los datos como RData > >>>> >> > >>>> >> > >>>> >> ¿Has probado el paquete haven y específicamente su función > read_dta? > >>>> >> Parece que es bastante más eficiente que la de foreign y preserva > más > >>>> >> características que trae el formato de stata. > >>>> >> > >>>> >> ¡Ojalá algo sirva! > >>>> >> > >>>> >> ¡Salud! > >>>> >> > >>>> >> -- > >>>> >> > >>>> >> «...homines autem hominum causa esse generatos...» > >>>> >> > >>>> >> Cicero > >>>> >> > >>>> > > >>>> > >>>> [[alternative HTML version deleted]] > >>>> > >>>> _______________________________________________ > >>>> R-help-es mailing list > >>>> R-help-es en r-project.org > >>>> https://stat.ethz.ch/mailman/listinfo/r-help-es > >>>> > >>> > >>> > >>> > >>> -- > >>> Saludos, > >>> Carlos Ortega > >>> www.qualityexcellence.es > >>> > >> > > > > > > -- > > Saludos, > > Carlos Ortega > > www.qualityexcellence.es > > > > > > -- > > Member, Editorial Committee, *The Economic and Labour Relations Review* (a > SAGE journal) > > http://elr.sagepub.com/ > > Member, Editorial Committee, African Journal of Economic and Management > Studies > > http://emeraldgrouppublishing.com/products/journals/ > editorial_team.htm?id=ajems > > https://www.researchgate.net/profile/Antonio_Andres (Research Gate > profile) > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es >[[alternative HTML version deleted]]