No soy experto en data mining con R, sé que existe algún paquete al respecto, pero no sé si R sería lo más adecuado para cantidades ingentes de datos… Saludos, Juan Carmona. De: Eduardo Bieñkowski [mailto:edukoski@gmail.com] Enviado el: miércoles, 04 de junio de 2014 17:07 Para: Joan Carmona CC: Isidro Hidalgo; r-help-es Asunto: Re: [R-es] Cargar csv de 16GB en R Si pero que pasaría entonces si lo que se necesita hacer es minería de datos con R, y queda un fichero enorme a pesar de darle todos los filtros y selecciones posibles????? El 4 de junio de 2014, 8:24, Joan Carmona <jcmld@carmonarocha.com <mailto:jcmld@carmonarocha.com> > escribió: Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria RAM + Virtual. Yo he trabajado con data frames mayores que la memoria física. Es cierto que esto ralentiza las operaciones. Lo que marca realmente los límites de la memoria es la versión del sistema operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de 64 bits el límite es de varios Tbytes. Teóricamente (y sólo teóricamente) se podría trabajar con objetos muy grandes, siempre que tengas suficiente espacio en disco. -----Mensaje original----- De: r-help-es-bounces@r-project.org <mailto:r-help-es-bounces@r-project.org> [mailto:r-help-es-bounces@r-project.org <mailto:r-help-es-bounces@r-project.org> ] En nombre de Isidro Hidalgo Enviado el: miércoles, 04 de junio de 2014 11:39 Para: 'r-help-es' Asunto: Re: [R-es] Cargar csv de 16GB en R ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos antes, R trabaja con la memoria física, por lo que nunca vas a poder trabajar simultáneamente con objetos que requieran más memoria que la RAM de tu equipo. De hecho, bajo mi punto de vista, es el problema fundamental de R. Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD Así que, por favor, si alguien puede aclarar este asunto, lo agradecería enormemente... Un saludo a todos. Isidro Hidalgo Arellano Observatorio Regional de Empleo Consejería de Empleo y Economía http://www.jccm.es> -----Mensaje original----- > De: r-help-es-bounces@r-project.org <mailto:r-help-es-bounces@r-project.org> [mailto:r-help-es-bounces@r- <mailto:r-help-es-bounces@r-> > project.org <http://project.org> ] En nombre de Javier Marcuzzi Enviado el: miércoles, 04 de > junio de 2014 1:54 > Para: Joan Carmona > CC: r-help-es; laura tomé > Asunto: Re: [R-es] Cargar csv de 16GB en R > > Estoy de acuerdo con la observación de Joan, yo supe utilizar formas > para trabajar con más memoria de la configurada como base, pero > tengamos en cuenta que una vez importados los datos, cualquier > operación estará entre la memoria fÃsica y la virtual, es todo un > desafÃo y dependerá del análisis estadÃstico (me refiero a los > algoritmos que ordenen al CPU). > > Mi experiencia cuándo trabaje con muchos datos y tocando los > parámetros de memoria, en algo parecido a un modelo mixto, una > variable 5 minutos de procesamiento, dos variables unos 15 minutos, > ambas más una relación más de dos dÃas de procesamiento, esa > relación en solo una variable algo como una hora. Básicamente podÃa > por separado, pero cuándo sumaba algo al modelo de tiempos razonables > pasaba a dos dÃas (medido en la pantalla de R porque pasaba datos > según procesaba - verbose=TRUE). > > Javier Marcuzzi > > > El 3 de junio de 2014, 18:54, Joan Carmona <jcmld@carmonarocha.com <mailto:jcmld@carmonarocha.com> > > escribió: > > > Hola Laura, > > > > Asumo que estás usando una versión de R de 64 bits, de lo > > contrario ya irÃas muy limitada por la versión, si ésta fuera de 32bits.> > > > R puede trabajar con objetos mayores que la memoria fÃsica > instalada, > > gracias a la memoria virtual de la máquina. > > > > Pero hay que tener en cuenta que, en Windows, R limita la memoria > > disponible para una sesión de R. Para cambiar este lÃmite, mira > > los comandos memory.size y memory.limit > > > > Saludos, > > > > Juan Carmona > > > > -----Mensaje original----- > > De: r-help-es-bounces@r-project.org <mailto:r-help-es-bounces@r-project.org> [mailto: > > r-help-es-bounces@r-project.org <mailto:r-help-es-bounces@r-project.org> ] > > En nombre de laura tomé > > Enviado el: martes, 03 de junio de 2014 19:37 > > Para: r-help-es@r-project.org <mailto:r-help-es@r-project.org> > > Asunto: [R-es] Cargar csv de 16GB en R > > > > > > > > > > Hola, > > > > Estoy todavÃa dando mis primeros pasos en R y una de las cosas que > > tengo que hacer es trabajar con un csv de 16 GB. Consta de 10 > > columnas, 7 númericas He probado varias cosas entre ellas los > > paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador > > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 > > > > ¿Debo trocear previamente el csv,me recomendais algún paquete en > > especial, etc para trabajar con un fichero tan pesado, otra > solución?... > > > > Muchas gracias > > [[alternative HTML version deleted]] > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es@r-project.org <mailto:R-help-es@r-project.org> > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > [[alternative HTML version deleted]]_______________________________________________ R-help-es mailing list R-help-es@r-project.org <mailto:R-help-es@r-project.org> https://stat.ethz.ch/mailman/listinfo/r-help-es _______________________________________________ R-help-es mailing list R-help-es@r-project.org <mailto:R-help-es@r-project.org> https://stat.ethz.ch/mailman/listinfo/r-help-es -- Eduardo [[alternative HTML version deleted]]
Define "hacer minería de datos". Muchas de las técnicas que se utilizan en minería de datos pueden aplicarsecomo comentaba antes con muestras para entrenar los modelos con resultados más que buenos aunque luego quieras aplicar el modelo a todo el conjunto (esto último suele ser relativamente fácil de hacer por lotes, por lo que de nuevo no es necesario cargar todo el conjunto de datos). Para los casos en los que irremediablemente haya que utilizar un conjunto de datos que no "quepa" en R (pocos casos me he encontrado para cosas estrictamente analíticas), no pasa nada por explorar otras opciones. Dudo mucho que el objetivo sea nunca "Hacer minería de datos con R", el objetivo suele ser resolver un problema concreto, y por mucho que nos guste una herramienta, no pasa nada por combinarla con otras opciones también gratuitas para resolver determinados problemas :) El 4 de junio de 2014, 17:20, Joan Carmona <jcmld@carmonarocha.com> escribió:> No soy experto en data mining con R, sé que existe algún paquete al > respecto, pero no sé si R sería lo más adecuado para cantidades ingentes de > datos… > > Saludos, > > Juan Carmona. > > > > De: Eduardo Bieñkowski [mailto:edukoski@gmail.com] > Enviado el: miércoles, 04 de junio de 2014 17:07 > Para: Joan Carmona > CC: Isidro Hidalgo; r-help-es > Asunto: Re: [R-es] Cargar csv de 16GB en R > > > > Si pero que pasaría entonces si lo que se necesita hacer es minería de > datos con R, y queda un fichero enorme a pesar de darle todos los filtros y > selecciones posibles????? > > > > El 4 de junio de 2014, 8:24, Joan Carmona <jcmld@carmonarocha.com <mailto: > jcmld@carmonarocha.com> > escribió: > > Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria > RAM + Virtual. > Yo he trabajado con data frames mayores que la memoria física. Es cierto > que > esto ralentiza las operaciones. > Lo que marca realmente los límites de la memoria es la versión del sistema > operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el > direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de 64 > bits el límite es de varios Tbytes. Teóricamente (y sólo teóricamente) se > podría trabajar con objetos muy grandes, siempre que tengas suficiente > espacio en disco. > > > -----Mensaje original----- > De: r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> [mailto:r-help-es-bounces@r-project.org > <mailto:r-help-es-bounces@r-project.org> ] > > En nombre de Isidro Hidalgo > Enviado el: miércoles, 04 de junio de 2014 11:39 > Para: 'r-help-es' > > Asunto: Re: [R-es] Cargar csv de 16GB en R > > ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos > antes, R trabaja con la memoria física, por lo que nunca vas a poder > trabajar simultáneamente con objetos que requieran más memoria que la RAM > de > tu equipo. > De hecho, bajo mi punto de vista, es el problema fundamental de R. > Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD Así > que, por favor, si alguien puede aclarar este asunto, lo agradecería > enormemente... > Un saludo a todos. > > Isidro Hidalgo Arellano > Observatorio Regional de Empleo > Consejería de Empleo y Economía > http://www.jccm.es > > > > > -----Mensaje original----- > > De: r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> [mailto:r-help-es-bounces@r- <mailto: > r-help-es-bounces@r-> > > project.org <http://project.org> ] En nombre de Javier Marcuzzi Enviado > el: miércoles, 04 de > > junio de 2014 1:54 > > Para: Joan Carmona > > CC: r-help-es; laura tomé > > Asunto: Re: [R-es] Cargar csv de 16GB en R > > > > Estoy de acuerdo con la observación de Joan, yo supe utilizar formas > > para trabajar con más memoria de la configurada como base, pero > > tengamos en cuenta que una vez importados los datos, cualquier > > operación estará entre la memoria fÃsica y la virtual, es todo un > > desafÃo y dependerá del análisis estadÃstico (me refiero a los > > algoritmos que ordenen al CPU). > > > > Mi experiencia cuándo trabaje con muchos datos y tocando los > > parámetros de memoria, en algo parecido a un modelo mixto, una > > variable 5 minutos de procesamiento, dos variables unos 15 minutos, > > ambas más una relación más de dos dÃas de procesamiento, esa > > relación en solo una variable algo como una hora. Básicamente podÃa > > por separado, pero cuándo sumaba algo al modelo de tiempos razonables > > pasaba a dos dÃas (medido en la pantalla de R porque pasaba datos > > según procesaba - verbose=TRUE). > > > > Javier Marcuzzi > > > > > > El 3 de junio de 2014, 18:54, Joan Carmona <jcmld@carmonarocha.com > <mailto:jcmld@carmonarocha.com> > > > escribió: > > > > > Hola Laura, > > > > > > Asumo que estás usando una versión de R de 64 bits, de lo > > > contrario ya irÃas muy limitada por la versión, si ésta fuera de 32 > bits. > > > > > > R puede trabajar con objetos mayores que la memoria fÃsica > > instalada, > > > gracias a la memoria virtual de la máquina. > > > > > > Pero hay que tener en cuenta que, en Windows, R limita la memoria > > > disponible para una sesión de R. Para cambiar este lÃmite, mira > > > los comandos memory.size y memory.limit > > > > > > Saludos, > > > > > > Juan Carmona > > > > > > -----Mensaje original----- > > > De: r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> [mailto: > > > r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> ] > > > En nombre de laura tomé > > > Enviado el: martes, 03 de junio de 2014 19:37 > > > Para: r-help-es@r-project.org <mailto:r-help-es@r-project.org> > > > Asunto: [R-es] Cargar csv de 16GB en R > > > > > > > > > > > > > > > Hola, > > > > > > Estoy todavÃa dando mis primeros pasos en R y una de las cosas que > > > tengo que hacer es trabajar con un csv de 16 GB. Consta de 10 > > > columnas, 7 númericas He probado varias cosas entre ellas los > > > paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador > > > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 > > > > > > ¿Debo trocear previamente el csv,me recomendais algún paquete en > > > especial, etc para trabajar con un fichero tan pesado, otra > > solución?... > > > > > > Muchas gracias > > > [[alternative HTML version deleted]] > > > > > > _______________________________________________ > > > R-help-es mailing list > > > R-help-es@r-project.org <mailto:R-help-es@r-project.org> > > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > > > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org <mailto:R-help-es@r-project.org> > https://stat.ethz.ch/mailman/listinfo/r-help-es > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org <mailto:R-help-es@r-project.org> > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > > -- > Eduardo > > > [[alternative HTML version deleted]] > > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es > >[[alternative HTML version deleted]]
No se mucho al respecto, pero que yo sepa quien gestiona el uso de los recursos del computador es el sistema operativo, asi es que R deberia ser capaz de usar la memoria virtual (swap) de un sistema UNIX/Linux, por ejemplo, con esto el tamaño de la RAM no deberia ser una limitante ya que siemore puedes hacer una swap tan grande como necesites, teoricamente ... pero la velocidad de acceso al disco duro es cientos de veces inferior a la RAM, asi es que seguro hay que hechar a andar el script y llevarse un buen libro o varias revistas de puzzles ... para subsanar un poco este problema, si se opta por usar un sistema Linux con swap y el archivo es de 16 GB, yo sugeriria hacer una swap sobre una tarjeta microSDHC clase 10 (es importante que sea clase 10 porque define la velocidad de lectura/escritura) de 32 GB, con esto deberias ahorrar bastante tiempo de ejecucion al script eso si, cuanto tiempo ahorraras con la swap en la tarjeta dependera de la configuracion de tu sistema, asi es que antes de comprar una, podrias conseguir una y comparar la velocidad de la tarjeta contra el disco duro con este programa http://www.hackeame.net/crystaldiskmark-cual-es-la-velocidad-de-lectura-y-escritura-de-mi-x-unidad-de-almacenamiento.hackeame ojala estas sugerencias te ayuden Saludos y cuentanos como te va, Eric. On 04/06/14 11:20, Joan Carmona wrote:> No soy experto en data mining con R, sé que existe algún paquete al respecto, pero no sé si R serÃa lo más adecuado para cantidades ingentes de datosâ?¦ > > Saludos, > > Juan Carmona. > > > > De: Eduardo Bieñkowski [mailto:edukoski en gmail.com] > Enviado el: miércoles, 04 de junio de 2014 17:07 > Para: Joan Carmona > CC: Isidro Hidalgo; r-help-es > Asunto: Re: [R-es] Cargar csv de 16GB en R > > > > Si pero que pasarÃa entonces si lo que se necesita hacer es minerÃa de datos con R, y queda un fichero enorme a pesar de darle todos los filtros y selecciones posibles????? > > > > El 4 de junio de 2014, 8:24, Joan Carmona <jcmld en carmonarocha.com <mailto:jcmld en carmonarocha.com> > escribió: > > Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria > RAM + Virtual. > Yo he trabajado con data frames mayores que la memoria fÃsica. Es cierto que > esto ralentiza las operaciones. > Lo que marca realmente los lÃmites de la memoria es la versión del sistema > operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el > direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de 64 > bits el lÃmite es de varios Tbytes. Teóricamente (y sólo teóricamente) se > podrÃa trabajar con objetos muy grandes, siempre que tengas suficiente > espacio en disco. > > > -----Mensaje original----- > De: r-help-es-bounces en r-project.org <mailto:r-help-es-bounces en r-project.org> [mailto:r-help-es-bounces en r-project.org <mailto:r-help-es-bounces en r-project.org> ] > > En nombre de Isidro Hidalgo > Enviado el: miércoles, 04 de junio de 2014 11:39 > Para: 'r-help-es' > > Asunto: Re: [R-es] Cargar csv de 16GB en R > > ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos > antes, R trabaja con la memoria fÃsica, por lo que nunca vas a poder > trabajar simultáneamente con objetos que requieran más memoria que la RAM de > tu equipo. > De hecho, bajo mi punto de vista, es el problema fundamental de R. > Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON Ã?L, XD Asà > que, por favor, si alguien puede aclarar este asunto, lo agradecerÃa > enormemente... > Un saludo a todos. > > Isidro Hidalgo Arellano > Observatorio Regional de Empleo > ConsejerÃa de Empleo y EconomÃa > http://www.jccm.es > > > >> -----Mensaje original----- >> De: r-help-es-bounces en r-project.org <mailto:r-help-es-bounces en r-project.org> [mailto:r-help-es-bounces en r- <mailto:r-help-es-bounces en r-> >> project.org <http://project.org> ] En nombre de Javier Marcuzzi Enviado el: miércoles, 04 de >> junio de 2014 1:54 >> Para: Joan Carmona >> CC: r-help-es; laura tomé >> Asunto: Re: [R-es] Cargar csv de 16GB en R >> >> Estoy de acuerdo con la observaciÃ?³n de Joan, yo supe utilizar formas >> para trabajar con mÃ?¡s memoria de la configurada como base, pero >> tengamos en cuenta que una vez importados los datos, cualquier >> operaciÃ?³n estarÃ?¡ entre la memoria fÃ?Âsica y la virtual, es todo un >> desafÃ?Âo y dependerÃ?¡ del anÃ?¡lisis estadÃ?Âstico (me refiero a los >> algoritmos que ordenen al CPU). >> >> Mi experiencia cuÃ?¡ndo trabaje con muchos datos y tocando los >> parÃ?¡metros de memoria, en algo parecido a un modelo mixto, una >> variable 5 minutos de procesamiento, dos variables unos 15 minutos, >> ambas mÃ?¡s una relaciÃ?³n mÃ?¡s de dos dÃ?Âas de procesamiento, esa >> relaciÃ?³n en solo una variable algo como una hora. BÃ?¡sicamente podÃ?Âa >> por separado, pero cuÃ?¡ndo sumaba algo al modelo de tiempos razonables >> pasaba a dos dÃ?Âas (medido en la pantalla de R porque pasaba datos >> segÃ?ºn procesaba - verbose=TRUE). >> >> Javier Marcuzzi >> >> >> El 3 de junio de 2014, 18:54, Joan Carmona <jcmld en carmonarocha.com <mailto:jcmld en carmonarocha.com> > >> escribiÃ?³: >> >>> Hola Laura, >>> >>> Asumo que estÃ?¡s usando una versiÃ?³n de R de 64 bits, de lo >>> contrario ya irÃ?Âas muy limitada por la versiÃ?³n, si Ã?©sta fuera de 32 > bits. >>> >>> R puede trabajar con objetos mayores que la memoria fÃ?Âsica >> instalada, >>> gracias a la memoria virtual de la mÃ?¡quina. >>> >>> Pero hay que tener en cuenta que, en Windows, R limita la memoria >>> disponible para una sesiÃ?³n de R. Para cambiar este lÃ?Âmite, mira >>> los comandos memory.size y memory.limit >>> >>> Saludos, >>> >>> Juan Carmona >>> >>> -----Mensaje original----- >>> De: r-help-es-bounces en r-project.org <mailto:r-help-es-bounces en r-project.org> [mailto: >>> r-help-es-bounces en r-project.org <mailto:r-help-es-bounces en r-project.org> ] >>> En nombre de laura tomÃ?© >>> Enviado el: martes, 03 de junio de 2014 19:37 >>> Para: r-help-es en r-project.org <mailto:r-help-es en r-project.org> >>> Asunto: [R-es] Cargar csv de 16GB en R >>> >>> >>> >>> >>> Hola, >>> >>> Estoy todavÃ?Âa dando mis primeros pasos en R y una de las cosas que >>> tengo que hacer es trabajar con un csv de 16 GB. Consta de 10 >>> columnas, 7 nÃ?ºmericas He probado varias cosas entre ellas los >>> paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador >>> de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 >>> >>> Ã?¿Debo trocear previamente el csv,me recomendais algÃ?ºn paquete en >>> especial, etc para trabajar con un fichero tan pesado, otra >> soluciÃ?³n?... >>> >>> Muchas gracias >>> [[alternative HTML version deleted]] >>> >>> _______________________________________________ >>> R-help-es mailing list >>> R-help-es en r-project.org <mailto:R-help-es en r-project.org> >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>> >> >> [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org <mailto:R-help-es en r-project.org> > https://stat.ethz.ch/mailman/listinfo/r-help-es > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org <mailto:R-help-es en r-project.org> > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > > > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es >-- Forest Engineer Master in Environmental and Natural Resource Economics Ph.D. student in Sciences of Natural Resources at La Frontera University Member in AguaDeTemu2030, citizen movement for Temuco with green city standards for living Nota: Las tildes se han omitido para asegurar compatibilidad con algunos lectores de correo.
neo, El tema que comentas de utilizar tarjetas SDHC me parece muy interesante. ¿Lo has probado?¿Tienes algún dato de mejoras de tiempos? El 4 de junio de 2014, 20:13, neo <ericconchamunoz@gmail.com> escribió:> No se mucho al respecto, pero que yo sepa quien gestiona el uso de los > recursos del computador es el sistema operativo, asi es que R deberia > ser capaz de usar la memoria virtual (swap) de un sistema UNIX/Linux, > por ejemplo, > > con esto el tamaño de la RAM no deberia ser una limitante ya que siemore > puedes hacer una swap tan grande como necesites, teoricamente ... pero > la velocidad de acceso al disco duro es cientos de veces inferior a la > RAM, asi es que seguro hay que hechar a andar el script y llevarse un > buen libro o varias revistas de puzzles ... > > para subsanar un poco este problema, si se opta por usar un sistema > Linux con swap y el archivo es de 16 GB, yo sugeriria hacer una swap > sobre una tarjeta microSDHC clase 10 (es importante que sea clase 10 > porque define la velocidad de lectura/escritura) de 32 GB, con esto > deberias ahorrar bastante tiempo de ejecucion al script > > eso si, cuanto tiempo ahorraras con la swap en la tarjeta dependera de > la configuracion de tu sistema, asi es que antes de comprar una, podrias > conseguir una y comparar la velocidad de la tarjeta contra el disco duro > con este programa > > > http://www.hackeame.net/crystaldiskmark-cual-es-la-velocidad-de-lectura-y-escritura-de-mi-x-unidad-de-almacenamiento.hackeame > > > ojala estas sugerencias te ayuden > > Saludos y cuentanos como te va, > > Eric. > > > > > > > On 04/06/14 11:20, Joan Carmona wrote: > > No soy experto en data mining con R, sé que existe algún paquete al > respecto, pero no sé si R serÃa lo más adecuado para cantidades ingentes > de datos… > > > > Saludos, > > > > Juan Carmona. > > > > > > > > De: Eduardo Bieñkowski [mailto:edukoski@gmail.com] > > Enviado el: miércoles, 04 de junio de 2014 17:07 > > Para: Joan Carmona > > CC: Isidro Hidalgo; r-help-es > > Asunto: Re: [R-es] Cargar csv de 16GB en R > > > > > > > > Si pero que pasarÃa entonces si lo que se necesita hacer es minerÃa de > datos con R, y queda un fichero enorme a pesar de darle todos los filtros y > selecciones posibles????? > > > > > > > > El 4 de junio de 2014, 8:24, Joan Carmona <jcmld@carmonarocha.com > <mailto:jcmld@carmonarocha.com> > escribió: > > > > Es cierto que R carga los objetos en memoria, pero ésta puede ser > memoria > > RAM + Virtual. > > Yo he trabajado con data frames mayores que la memoria fÃsica. Es > cierto que > > esto ralentiza las operaciones. > > Lo que marca realmente los lÃmites de la memoria es la versión del > sistema > > operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el > > direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de > 64 > > bits el lÃmite es de varios Tbytes. Teóricamente (y sólo > teóricamente) se > > podrÃa trabajar con objetos muy grandes, siempre que tengas suficiente > > espacio en disco. > > > > > > -----Mensaje original----- > > De: r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> [mailto:r-help-es-bounces@r-project.org > <mailto:r-help-es-bounces@r-project.org> ] > > > > En nombre de Isidro Hidalgo > > Enviado el: miércoles, 04 de junio de 2014 11:39 > > Para: 'r-help-es' > > > > Asunto: Re: [R-es] Cargar csv de 16GB en R > > > > ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos > > antes, R trabaja con la memoria fÃsica, por lo que nunca vas a poder > > trabajar simultáneamente con objetos que requieran más memoria que la > RAM de > > tu equipo. > > De hecho, bajo mi punto de vista, es el problema fundamental de R. > > Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD > Asà > > que, por favor, si alguien puede aclarar este asunto, lo agradecerÃa > > enormemente... > > Un saludo a todos. > > > > Isidro Hidalgo Arellano > > Observatorio Regional de Empleo > > ConsejerÃa de Empleo y EconomÃa > > http://www.jccm.es > > > > > > > >> -----Mensaje original----- > >> De: r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> [mailto:r-help-es-bounces@r- <mailto: > r-help-es-bounces@r-> > >> project.org <http://project.org> ] En nombre de Javier Marcuzzi > Enviado el: miércoles, 04 de > >> junio de 2014 1:54 > >> Para: Joan Carmona > >> CC: r-help-es; laura tomé > >> Asunto: Re: [R-es] Cargar csv de 16GB en R > >> > >> Estoy de acuerdo con la observación de Joan, yo supe utilizar formas > >> para trabajar con más memoria de la configurada como base, pero > >> tengamos en cuenta que una vez importados los datos, cualquier > >> operación estará entre la memoria fÃÂsica y la virtual, es todo > un > >> desafÃÂo y dependerá del análisis estadÃÂstico (me refiero a > los > >> algoritmos que ordenen al CPU). > >> > >> Mi experiencia cuándo trabaje con muchos datos y tocando los > >> parámetros de memoria, en algo parecido a un modelo mixto, una > >> variable 5 minutos de procesamiento, dos variables unos 15 minutos, > >> ambas más una relación más de dos dÃÂas de procesamiento, esa > >> relación en solo una variable algo como una hora. Básicamente > podÃÂa > >> por separado, pero cuándo sumaba algo al modelo de tiempos razonables > >> pasaba a dos dÃÂas (medido en la pantalla de R porque pasaba datos > >> según procesaba - verbose=TRUE). > >> > >> Javier Marcuzzi > >> > >> > >> El 3 de junio de 2014, 18:54, Joan Carmona <jcmld@carmonarocha.com > <mailto:jcmld@carmonarocha.com> > > >> escribió: > >> > >>> Hola Laura, > >>> > >>> Asumo que estás usando una versión de R de 64 bits, de lo > >>> contrario ya irÃÂas muy limitada por la versión, si ésta fuera > de 32 > > bits. > >>> > >>> R puede trabajar con objetos mayores que la memoria fÃÂsica > >> instalada, > >>> gracias a la memoria virtual de la máquina. > >>> > >>> Pero hay que tener en cuenta que, en Windows, R limita la memoria > >>> disponible para una sesión de R. Para cambiar este lÃÂmite, mira > >>> los comandos memory.size y memory.limit > >>> > >>> Saludos, > >>> > >>> Juan Carmona > >>> > >>> -----Mensaje original----- > >>> De: r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> [mailto: > >>> r-help-es-bounces@r-project.org <mailto: > r-help-es-bounces@r-project.org> ] > >>> En nombre de laura tomé > >>> Enviado el: martes, 03 de junio de 2014 19:37 > >>> Para: r-help-es@r-project.org <mailto:r-help-es@r-project.org> > >>> Asunto: [R-es] Cargar csv de 16GB en R > >>> > >>> > >>> > >>> > >>> Hola, > >>> > >>> Estoy todavÃÂa dando mis primeros pasos en R y una de las cosas que > >>> tengo que hacer es trabajar con un csv de 16 GB. Consta de 10 > >>> columnas, 7 númericas He probado varias cosas entre ellas los > >>> paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador > >>> de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 > >>> > >>> ¿Debo trocear previamente el csv,me recomendais algún paquete en > >>> especial, etc para trabajar con un fichero tan pesado, otra > >> solución?... > >>> > >>> Muchas gracias > >>> [[alternative HTML version deleted]] > >>> > >>> _______________________________________________ > >>> R-help-es mailing list > >>> R-help-es@r-project.org <mailto:R-help-es@r-project.org> > >>> https://stat.ethz.ch/mailman/listinfo/r-help-es > >>> > >> > >> [[alternative HTML version deleted]] > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es@r-project.org <mailto:R-help-es@r-project.org> > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es@r-project.org <mailto:R-help-es@r-project.org> > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > > > > > > > > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es@r-project.org > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > -- > Forest Engineer > Master in Environmental and Natural Resource Economics > Ph.D. student in Sciences of Natural Resources at La Frontera University > Member in AguaDeTemu2030, citizen movement for Temuco with green city > standards for living > > Nota: Las tildes se han omitido para asegurar compatibilidad con algunos > lectores de correo. > > _______________________________________________ > R-help-es mailing list > R-help-es@r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es >[[alternative HTML version deleted]]