R help es - Feb 2020 - Cannot allocate a vector of size...

Es la primera vez que trabajo con este tipo de datos...No se si se puede
dividir esa matriz. ¿Cómo lo podría hacer?

Muchas gracias!
El Vie, 7 de Febrero de 2020, 17:55, Xavier-Andoni Tibau Alberdi
escribió:
> Significa que tus datos són muy grandes y no se pueden guardar en la RAM.
> Tienes alternativas para dividir la matriz?
>
> El vie., 7 feb. 2020 17:26, <miriam.alzate en unavarra.es> escribió:
>
>> Buenas tardes,
>>
>> Estoy haciendo un análisis de contenido con el paquete tm. A la hora de
>> ejecutar este código:
>>  tdm<-TermDocumentMatrix(corpus,control=list(weighting =weightTf))
>>  tdm.reviews.m<-as.matrix(tdm)
>>
>> La primera línea sí me la ejecuta bien pero en la segunda tengo este
>> error:
>> Error: cannot allocate vector of size 14.0 Gb
>>
>> ¿Cómo puedo corregirlo? Estoy usando la versión de 64bits de R.
>>
>> Un saludo
>>
>> Miriam
>>
>> _______________________________________________
>> R-help-es mailing list
>> R-help-es en r-project.org
>> https://stat.ethz.ch/mailman/listinfo/r-help-es
>>
>

Depende de la operació que quieras hacer con la matriz. Si quitas filas y
columnas en algun momento, quiza lo puedes hacer por bloques y luego la
juntas.  O quizá puedes cargarlo directamente como data.frame? Quanta RAM
tienes? Cuanto pésan los datos?





El vie., 7 feb. 2020 18:04, <miriam.alzate en unavarra.es> escribió:
> Es la primera vez que trabajo con este tipo de datos...No se si se puede
> dividir esa matriz. ¿Cómo lo podría hacer?
>
> Muchas gracias!
> El Vie, 7 de Febrero de 2020, 17:55, Xavier-Andoni Tibau Alberdi escribió:
> > Significa que tus datos són muy grandes y no se pueden guardar en la
RAM.
> > Tienes alternativas para dividir la matriz?
> >
> > El vie., 7 feb. 2020 17:26, <miriam.alzate en unavarra.es>
escribió:
> >
> >> Buenas tardes,
> >>
> >> Estoy haciendo un análisis de contenido con el paquete tm. A la
hora de
> >> ejecutar este código:
> >>  tdm<-TermDocumentMatrix(corpus,control=list(weighting
=weightTf))
> >>  tdm.reviews.m<-as.matrix(tdm)
> >>
> >> La primera línea sí me la ejecuta bien pero en la segunda tengo
este
> >> error:
> >> Error: cannot allocate vector of size 14.0 Gb
> >>
> >> ¿Cómo puedo corregirlo? Estoy usando la versión de 64bits de R.
> >>
> >> Un saludo
> >>
> >> Miriam
> >>
> >> _______________________________________________
> >> R-help-es mailing list
> >> R-help-es en r-project.org
> >> https://stat.ethz.ch/mailman/listinfo/r-help-es
> >>
> >
>
>
>
	[[alternative HTML version deleted]]

Buenas,
El archivo de R ocupa 33 megas. La matriz que quiero construir cupa 14 gb.
En el disco local (C) tengo 400 gb disponibles de 670.
No estoy muy puesta en trabajar con este tipo de datos. ¿Qué diferencia es
trabajar con data.frame?

Gracias!

El Vie, 7 de Febrero de 2020, 18:07, Xavier-Andoni Tibau Alberdi
escribió:
> Depende de la operació que quieras hacer con la matriz. Si quitas filas y
> columnas en algun momento, quiza lo puedes hacer por bloques y luego la
> juntas.  O quizá puedes cargarlo directamente como data.frame? Quanta RAM
> tienes? Cuanto pésan los datos?
>
>
>
>
>
> El vie., 7 feb. 2020 18:04, <miriam.alzate en unavarra.es> escribió:
>
>> Es la primera vez que trabajo con este tipo de datos...No se si se
puede
>> dividir esa matriz. ¿Cómo lo podría hacer?
>>
>> Muchas gracias!
>> El Vie, 7 de Febrero de 2020, 17:55, Xavier-Andoni Tibau Alberdi
>> escribió:
>> > Significa que tus datos són muy grandes y no se pueden guardar en
la
>> RAM.
>> > Tienes alternativas para dividir la matriz?
>> >
>> > El vie., 7 feb. 2020 17:26, <miriam.alzate en unavarra.es>
escribió:
>> >
>> >> Buenas tardes,
>> >>
>> >> Estoy haciendo un análisis de contenido con el paquete tm. A
la hora
>> de
>> >> ejecutar este código:
>> >>  tdm<-TermDocumentMatrix(corpus,control=list(weighting
=weightTf))
>> >>  tdm.reviews.m<-as.matrix(tdm)
>> >>
>> >> La primera línea sí me la ejecuta bien pero en la segunda
tengo este
>> >> error:
>> >> Error: cannot allocate vector of size 14.0 Gb
>> >>
>> >> ¿Cómo puedo corregirlo? Estoy usando la versión de 64bits de
R.
>> >>
>> >> Un saludo
>> >>
>> >> Miriam
>> >>
>> >> _______________________________________________
>> >> R-help-es mailing list
>> >> R-help-es en r-project.org
>> >> https://stat.ethz.ch/mailman/listinfo/r-help-es
>> >>
>> >
>>
>>
>>
>