search for: weighttf

Buenas tardes, Estoy haciendo un análisis de contenido con el paquete tm. A la hora de ejecutar este código: tdm<-TermDocumentMatrix(corpus,control=list(weighting =weightTf)) tdm.reviews.m<-as.matrix(tdm) La primera línea sí me la ejecuta bien pero en la segunda tengo este error: Error: cannot allocate vector of size 14.0 Gb ¿Cómo puedo corregirlo? Estoy usando la versión de 64bits de R. Un saludo Miriam

...a.es> escribió: >> > >> >> Buenas tardes, >> >> >> >> Estoy haciendo un análisis de contenido con el paquete tm. A la hora >> de >> >> ejecutar este código: >> >> tdm<-TermDocumentMatrix(corpus,control=list(weighting =weightTf)) >> >> tdm.reviews.m<-as.matrix(tdm) >> >> >> >> La primera línea sí me la ejecuta bien pero en la segunda tengo este >> >> error: >> >> Error: cannot allocate vector of size 14.0 Gb >> >> >> >> ¿Cómo puedo cor...

...; > El vie., 7 feb. 2020 17:26, <miriam.alzate en unavarra.es> escribió: > >> Buenas tardes, >> >> Estoy haciendo un análisis de contenido con el paquete tm. A la hora de >> ejecutar este código: >> tdm<-TermDocumentMatrix(corpus,control=list(weighting =weightTf)) >> tdm.reviews.m<-as.matrix(tdm) >> >> La primera línea sí me la ejecuta bien pero en la segunda tengo este >> error: >> Error: cannot allocate vector of size 14.0 Gb >> >> ¿Cómo puedo corregirlo? Estoy usando la versión de 64bits de R. >> >&...

...on 0s, puedes representar-la en > forma de sparse matrix, y ocupa mucho menos espacio porque no guardas > todos > los valores, sino aquellos distintos de 0 y su posición. > > Estas construyendo la matriz sparse con esto: > tdm<-TermDocumentMatrix(corpus,control=list(weighting =weightTf)) > > puedes ver aquí > <https://www.rdocumentation.org/packages/tm/versions/0.7-7/topics/TermDocumentMatrix> > la documentación. > > Al hacer esto, conviertes la matrz sparse a matriz normal y pones en > memoria todos los 0s, que ahora ocupan espacio en la memoria voláti...

...do the SVD, it runs out of memory. I am using a 12GB Dual core Machine with Windows XP and don't think I can increase the memory anymore. Are there any other memory efficient methods to find the SVD? The term document is obtained using: tdm2 <- TermDocumentMatrix(tr1,control=list(weighting=weightTf,minWordLength=3)) str(tdm2) List of 6 $ i : int [1:6438] 202 729 737 278 402 621 654 718 157 380 ... $ j : int [1:6438] 1 2 3 7 7 7 7 8 10 10 ... $ v : num [1:6438] 8 5 6 9 5 7 5 6 5 7 ... $ nrow : int 771 $ ncol : int 5677 $ dimnames:List of 2 ..$ Terms: chr [1:771...

I have recently started using "tm" package by Feinerer, K. Hornik, and D. Meyer. While trying to create a term-document matrix from a corpus (approxly 440 docs) I get the following error: tdm <- TermDocumentMatrix(tmp, control=list(weighting=weightTfIdf, minDocFreq=2, minWordLength=3)) *Error in rowSums(m > 0) : 'x' must be an array of at least two dimensions* This error appears for option weighting=weightTfIdf and not for weighting=weightTf As Idf would need division by df, is this anything to do with nature of my data? May be I am...

I am using code that previously worked to remove stopwords using package "tm". Even manually adding "the" to the list does not work to remove "the". This package has undergone extensive redevelopment with changes to the function syntax, so perhaps I am just missing something. Please see my simple example, output, and sessionInfo() below. Thanks! Mark require(tm)