Hola a todos!
Estoy en un proyecto de text mining y por razones de los recursos con que
cuento tuve que separar los archivos de texto de input del proyecto en
muchos archivos pequeños.
Luego de transformar cada uno de estos archivos en un corpus separado,
puedo aplicar limpieza sobre cada corpus, buscar n-gramas, construir cada
termDocumentMatrix y finalmente reunir todo en una sola TDM.
Pero estoy atorado en el paso de transformar cada uno de los archivos en
corpus mediante un loop. Es decir que en lugar de hacer esto infinitas
veces:
#Librerias necesarias
library(tm)
corpus_001<-Corpus(VectorSource(qBlog001))
corpus_002<-Corpus(VectorSource(qBlog002))
corpus_003<-Corpus(VectorSource(qBlog003))
.........
corpus_150<-Corpus(VectorSource(qBlog150))
........
quisiera poder armar un loop que haga el trabajo, como por ejemplo
#lista con los nombres que quiero para cada corpus
c_names <- paste("corpus_",formatC(seq(length(bNames)),
width=3, flag="0"),
sep="")
donde bNames es la lista de los df que tengo cargados "qBlog001"
"qBlog002"..."qBlog150"...
algo así es lo que tengo en mente:
for (i in bNames) {
for (j in c_names) {
j<- Corpus(VectorSource(i))
}
}
Pero no funciona, he probado con lapply, con sapply, con llply de la
librería (plyr) y no encuentro la manera de hacerlo..
Cualquier sugerencia sera bienvenida!
Muchas gracias por adelantado!
--
Oscar Benitez
[[alternative HTML version deleted]]
Oscar,
Una forma de trabajar con este tipo de archivos es utilizando listas:
# directorio del proyecto
setwd('~/proyecto')
# archivos de texto
l <- list.files(pattern = '.txt')
# procesamiento
txt <- vector('list', length = length(l))
for(i in seq_along(txt)){
txt[[i]] <- Corpus(VectorSource(l[i]))
}
# para acceder a la informacion del primero archivo, solo debes escribir
txt[[1]]
Espero sea de utilidad.
Saludos,
Jorge.-
2015-04-10 14:14 GMT+10:00 Oscar Benitez <oscar.benitez1962 en gmail.com>:
> Hola a todos!
> Estoy en un proyecto de text mining y por razones de los recursos con que
> cuento tuve que separar los archivos de texto de input del proyecto en
> muchos archivos pequeños.
> Luego de transformar cada uno de estos archivos en un corpus separado,
> puedo aplicar limpieza sobre cada corpus, buscar n-gramas, construir cada
> termDocumentMatrix y finalmente reunir todo en una sola TDM.
>
> Pero estoy atorado en el paso de transformar cada uno de los archivos en
> corpus mediante un loop. Es decir que en lugar de hacer esto infinitas
> veces:
>
> #Librerias necesarias
> library(tm)
>
> corpus_001<-Corpus(VectorSource(qBlog001))
> corpus_002<-Corpus(VectorSource(qBlog002))
> corpus_003<-Corpus(VectorSource(qBlog003))
> .........
> corpus_150<-Corpus(VectorSource(qBlog150))
> ........
>
> quisiera poder armar un loop que haga el trabajo, como por ejemplo
>
>
>
> #lista con los nombres que quiero para cada corpus
> c_names <- paste("corpus_",formatC(seq(length(bNames)),
> width=3,
flag="0"), sep="")
>
> donde bNames es la lista de los df que tengo cargados "qBlog001"
> "qBlog002"..."qBlog150"...
>
> algo así es lo que tengo en mente:
>
> for (i in bNames) {
> for (j in c_names) {
> j<- Corpus(VectorSource(i))
> }
> }
>
> Pero no funciona, he probado con lapply, con sapply, con llply de la
> librería (plyr) y no encuentro la manera de hacerlo..
> Cualquier sugerencia sera bienvenida!
> Muchas gracias por adelantado!
>
>
> --
> Oscar Benitez
>
> [[alternative HTML version deleted]]
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
[[alternative HTML version deleted]]
Buenas: Si te he entendido bien, creo que lo que buscas es get() y assign()... Con la primera obtienes el objeto desde su nombre (los qBlog***) y con la segunda asignas el objeto al nombre (los corpus***). ¿Es eso lo que quieres hacer? Un saludo Isidro Hidalgo Arellano Observatorio Regional de Empleo Consejería de Empleo y Economía http://www.jccm.es> -----Mensaje original----- > De: R-help-es [mailto:r-help-es-bounces en r-project.org] En nombre de > Oscar Benitez > Enviado el: viernes, 10 de abril de 2015 6:15 > Para: r-help-es en r-project.org > Asunto: [R-es] Loop sobre muchos data frames > > Hola a todos! > Estoy en un proyecto de text mining y por razones de los recursos con > que cuento tuve que separar los archivos de texto de input del proyecto > en muchos archivos pequeños. > Luego de transformar cada uno de estos archivos en un corpus separado, > puedo aplicar limpieza sobre cada corpus, buscar n-gramas, construir > cada termDocumentMatrix y finalmente reunir todo en una sola TDM. > > Pero estoy atorado en el paso de transformar cada uno de los archivos > en corpus mediante un loop. Es decir que en lugar de hacer esto > infinitas > veces: > > #Librerias necesarias > library(tm) > > corpus_001<-Corpus(VectorSource(qBlog001)) > corpus_002<-Corpus(VectorSource(qBlog002)) > corpus_003<-Corpus(VectorSource(qBlog003)) > ......... > corpus_150<-Corpus(VectorSource(qBlog150)) > ........ > > quisiera poder armar un loop que haga el trabajo, como por ejemplo > > > > #lista con los nombres que quiero para cada corpus c_names <- > paste("corpus_",formatC(seq(length(bNames)), > width=3, flag="0"), > sep="") > > donde bNames es la lista de los df que tengo cargados "qBlog001" > "qBlog002"..."qBlog150"... > > algo así es lo que tengo en mente: > > for (i in bNames) { > for (j in c_names) { > j<- Corpus(VectorSource(i)) > } > } > > Pero no funciona, he probado con lapply, con sapply, con llply de la > librería (plyr) y no encuentro la manera de hacerlo.. > Cualquier sugerencia sera bienvenida! > Muchas gracias por adelantado! > > > -- > Oscar Benitez > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > R-help-es en r-project.org > https://stat.ethz.ch/mailman/listinfo/r-help-es
Jorge
Gracias por el consejo. Aparentemente no lo estoy aplicando bien, pues el
objeto que obtengo no contiene lo que quiero.
Me explico, al ejecutar
txt <- vector('list', length = length(names)) #names el el vector
donde ya
tenía almacenada la lista de txt's
for(i in seq_along(txt)){
txt[[i]] <- Corpus(VectorSource(names[i]))
}
obtengo el objeto txt:> class(txt)
[1] "list"
si extraigo solamente el primer objeto de esa lista:> txt[[1]]
<<VCorpus (documents: 1, metadata (corpus/indexed): 0/0)>>
si quiero ver el contenido del primer copus
> inspect(txt[[1]])
<<VCorpus (documents: 1, metadata (corpus/indexed): 0/0)>>
[[1]]
<<PlainTextDocument (metadata: 7)>>
qB001.txt
me informa cosas sobre el objeto, pero los datos no están allí... debería
mostrarme algo así como:
inspect(cbD02[1:1]) #inspecciono el corpus cbD120, creado a mano por la
sentencia cbD120<-Corpus(VectorSource(qT120))
#......contenido del corpus......
I went to go see some gypsy to tell me my future, but she asked for my
photograph instead.
itz me the one who was talkin to u last time !!!
starts at 4pm. come get sunny munny :)
kind of scary to imagine what needs military wiping!!!!
#.....más.contenido del corpus......
si quiero aplicarle un función propia de limpieza de corpus, por ejemplo
eliminar los números presentes en el corpus> tm_map(txt[[1]], removeNumbers)
<<VCorpus (documents: 1, metadata (corpus/indexed): 0/0)>>
no hace nada de nada...
Saludos
Oscar
El 10 de abril de 2015, 1:15, Jorge I Velez <jorgeivanvelez en gmail.com>
escribió:
> Oscar,
>
> Una forma de trabajar con este tipo de archivos es utilizando listas:
>
> # directorio del proyecto
> setwd('~/proyecto')
>
> # archivos de texto
> l <- list.files(pattern = '.txt')
>
> # procesamiento
> txt <- vector('list', length = length(l))
> for(i in seq_along(txt)){
> txt[[i]] <- Corpus(VectorSource(l[i]))
> }
>
> # para acceder a la informacion del primero archivo, solo debes escribir
> txt[[1]]
>
>
> Espero sea de utilidad.
>
> Saludos,
> Jorge.-
>
>
> 2015-04-10 14:14 GMT+10:00 Oscar Benitez <oscar.benitez1962 en
gmail.com>:
>
>> Hola a todos!
>> Estoy en un proyecto de text mining y por razones de los recursos con
que
>> cuento tuve que separar los archivos de texto de input del proyecto en
>> muchos archivos pequeños.
>> Luego de transformar cada uno de estos archivos en un corpus separado,
>> puedo aplicar limpieza sobre cada corpus, buscar n-gramas, construir
cada
>> termDocumentMatrix y finalmente reunir todo en una sola TDM.
>>
>> Pero estoy atorado en el paso de transformar cada uno de los archivos
en
>> corpus mediante un loop. Es decir que en lugar de hacer esto infinitas
>> veces:
>>
>> #Librerias necesarias
>> library(tm)
>>
>> corpus_001<-Corpus(VectorSource(qBlog001))
>> corpus_002<-Corpus(VectorSource(qBlog002))
>> corpus_003<-Corpus(VectorSource(qBlog003))
>> .........
>> corpus_150<-Corpus(VectorSource(qBlog150))
>> ........
>>
>> quisiera poder armar un loop que haga el trabajo, como por ejemplo
>>
>>
>>
>> #lista con los nombres que quiero para cada corpus
>> c_names <- paste("corpus_",formatC(seq(length(bNames)),
>> width=3,
flag="0"),
>> sep="")
>>
>> donde bNames es la lista de los df que tengo cargados
"qBlog001"
>> "qBlog002"..."qBlog150"...
>>
>> algo así es lo que tengo en mente:
>>
>> for (i in bNames) {
>> for (j in c_names) {
>> j<- Corpus(VectorSource(i))
>> }
>> }
>>
>> Pero no funciona, he probado con lapply, con sapply, con llply de la
>> librería (plyr) y no encuentro la manera de hacerlo..
>> Cualquier sugerencia sera bienvenida!
>> Muchas gracias por adelantado!
>>
>>
>> --
>> Oscar Benitez
>>
>> [[alternative HTML version deleted]]
>>
>> _______________________________________________
>> R-help-es mailing list
>> R-help-es en r-project.org
>> https://stat.ethz.ch/mailman/listinfo/r-help-es
>>
>
>
--
Oscar Benitez
[[alternative HTML version deleted]]