hola a todos, Me gustaria saber qué haceis cuando el dataset para trabsjar es tan grande que R no lo soporta. Lo troceo con alguna otra herramienta? Cual? Gracias y feliz año! Victoria> _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org <javascript:;> > https://stat.ethz.ch/mailman/listinfo/r-help-es >-- Enviado con Gmail Mobile [[alternative HTML version deleted]]
Hola,
El que "R" no lo soporta quiere decir que "tu máquina no lo
soporta".
Y no lo soporta porque tiene una cantidad de RAM insuficiente.
En este caso puedes hacer diferentes cosas:
- Sin tener que cambiar tu hardware:
- Hacer un sampling y quedarte con un número de observaciones con los
que sí puedas trabajar en tu máquina. Este sampling, lo tendrás que hacer
por fuera utilizando algún tipo de script en tu Sistema Operativo.
- Hay un conjunto de librerías que permiten trabajar con conjuntos
"BigData", mira toda la familia de paquetes:
"bigxxxxx": bigmemory,
biganalytics, bigFastlm, biglasso, biglars, etc...
- Dependiendo del problema que quieras tratar, muy probablemente
puedas cargar tus datos en una base de datos y desde "R" acceder
a
diferentes subconjuntos. Esto en el caso de que tu análisis necesite de
esta partición.
- Cambiando tu hardware:
- Si vas a trabajar de forma habitual con este tipo de conjuntos,
quizás te merezca la pena el ampliar la RAM de tu máquina o empezar a
utilizar otra máquina (tipo servidor) con más capacidad de
cómputo CPU/RAM.
- Aquí otra opción es incluso procesar tu conjunto en la nube de
Amazon. Te configuras una máquina con suficiente RAM (no hace falta un
clúster) que tenga "R". En Amazon, puedes llegar a utilizar ya
máquinas con
2Tb de RAM. En esto de Amazon, la principal pega por ponerle
alguna es que
subir los datos te llevará un tiempo y claro, este servicio no
es gratuito.
- Otra opción más costosa es crear un clúster...y utilizar "R"
de
forma distribuida...
Saludos,
Carlos Ortega
www.qualityexcellence.es
El 30 de diciembre de 2016, 11:02, VICTORIA LOPEZ <vlopez en fdi.ucm.es>
escribió:
> hola a todos,
> Me gustaria saber qué haceis cuando el dataset para trabsjar es tan grande
> que R no lo soporta.
> Lo troceo con alguna otra herramienta?
> Cual?
>
> Gracias y feliz año!
>
> Victoria
>
> > _______________________________________________
> > R-help-es mailing list
> > R-help-es en r-project.org <javascript:;>
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
>
>
> --
> Enviado con Gmail Mobile
>
> [[alternative HTML version deleted]]
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
--
Saludos,
Carlos Ortega
www.qualityexcellence.es
[[alternative HTML version deleted]]
miguel.angel.rodriguez.muinos en sergas.es
2016-Dec-30 22:20 UTC
[R-es] Trabajar con un dataset muy grande
Yo, alguna vez, he usado el paquete ff ... puedes probar. Un saludo ________________________________________ De: R-help-es [r-help-es-bounces en r-project.org] en nombre de VICTORIA LOPEZ [vlopez en fdi.ucm.es] Enviado: viernes, 30 de diciembre de 2016 11:02 Para: Horacio Cc: r-help-es en r-project.org Asunto: [R-es] Trabajar con un dataset muy grande hola a todos, Me gustaria saber qué haceis cuando el dataset para trabsjar es tan grande que R no lo soporta. Lo troceo con alguna otra herramienta? Cual? Gracias y feliz año! Victoria> _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org <javascript:;> > https://stat.ethz.ch/mailman/listinfo/r-help-es >-- Enviado con Gmail Mobile [[alternative HTML version deleted]] _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es ________________________________ Nota: A información contida nesta mensaxe e os seus posibles documentos adxuntos é privada e confidencial e está dirixida únicamente ó seu destinatario/a. Se vostede non é o/a destinatario/a orixinal desta mensaxe, por favor elimínea. A distribución ou copia desta mensaxe non está autorizada. Nota: La información contenida en este mensaje y sus posibles documentos adjuntos es privada y confidencial y está dirigida únicamente a su destinatario/a. Si usted no es el/la destinatario/a original de este mensaje, por favor elimínelo. La distribución o copia de este mensaje no está autorizada. See more languages: http://www.sergas.es/aviso-confidencialidad
javier.ruben.marcuzzi en gmail.com
2016-Dec-31 03:33 UTC
[R-es] Trabajar con un dataset muy grande
Estimados Hoy hay varias alternativas para trabajar con muchos datos, pero hay una parte técnica que no está especificada, ¿Cuánto es lo que se dice como muchos datos?, en este caso Victoria explique el tamaño de sus datos. Lo segundo es ¿Qué análisis o librería? Porque puede ser que R utilice una librería que no soporte cierta cantidad, a mi me paso que todo estaba bien pero había un error, charlando con los desarrolladores del paquete, me comentan que a partir de cierta cantidad hay que especificar la memoria ram asignada (poco automático, mucho definirlo). Tercer parte, que por mis estudios les envidio a los estadísticos, es posible escribir en matrices, mi título de grado no tenía algebra, tuve que buscar cosas simples y algunos cursos de postgrado hasta que logre comprender y poder hacerlo con R, luego las librerías simplifican, pero el recurso está, y en ese caso el R de Microsoft tiene optimización al respecto. Javier Rubén Marcuzzi De: miguel.angel.rodriguez.muinos en sergas.es Enviado: viernes, 30 de diciembre de 2016 19:21 Para: vlopez en fdi.ucm.es; horacio9573 en gmail.com CC: r-help-es en r-project.org Asunto: Re: [R-es] Trabajar con un dataset muy grande Yo, alguna vez, he usado el paquete ff ... puedes probar. Un saludo ________________________________________ De: R-help-es [r-help-es-bounces en r-project.org] en nombre de VICTORIA LOPEZ [vlopez en fdi.ucm.es] Enviado: viernes, 30 de diciembre de 2016 11:02 Para: Horacio Cc: r-help-es en r-project.org Asunto: [R-es] Trabajar con un dataset muy grande hola a todos, Me gustaria saber qué haceis cuando el dataset para trabsjar es tan grande que R no lo soporta. Lo troceo con alguna otra herramienta? Cual? Gracias y feliz año! Victoria> _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org <javascript:;> > https://stat.ethz.ch/mailman/listinfo/r-help-es >-- Enviado con Gmail Mobile [[alternative HTML version deleted]] _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es ________________________________ Nota: A información contida nesta mensaxe e os seus posibles documentos adxuntos é privada e confidencial e está dirixida únicamente ó seu destinatario/a. Se vostede non é o/a destinatario/a orixinal desta mensaxe, por favor elimínea. A distribución ou copia desta mensaxe non está autorizada. Nota: La información contenida en este mensaje y sus posibles documentos adjuntos es privada y confidencial y está dirigida únicamente a su destinatario/a. Si usted no es el/la destinatario/a original de este mensaje, por favor elimínelo. La distribución o copia de este mensaje no está autorizada. See more languages: http://www.sergas.es/aviso-confidencialidad _______________________________________________ R-help-es mailing list R-help-es en r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es [[alternative HTML version deleted]]