search for: millons

¡Hola! Mi duda surge por la siguiente anécdota: un amigo (empleado de una enorme consultora que tiene SAS) migró a R y ansioso me contó que iba a ejecutar las rutinas que había traducido de SAS a R y luego de intentar ejecutarlas nada le funcionó porque, ingenuamente, quería hacer cosas para las cuales R no está diseñado (operaciones en la base de datos) y porque leyó TODOS los datos de una

Bueno ... voy a compartirles mi experiencia en esto.Freddy, yo tuve la misma experiencia que su amigo, es mas, aun la sigo teniendo... y en resumen y sin alargar el cuento ... me quedo con R.Porque mi decisión... por varios temas:1. Rapidez. Uno debe saber que es lo que se quiere hacer y que necesita para eso. El uso adecuado de indices, hash, etc. que permitan y faciliten al sistema trabajar

Hello, I would like to fit generalized linear mixed models but I did not find the package allowing such procedure. R help under nlme package gives me "glmmPQL(MASS)" but this file does not appear in contributed packages. Thanks in advance for your answer. Alexandre MILLON -.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.-.- r-help mailing list -- Read

Hola amig@: Me llamo Ver?nica. Te escribo desde Madrid, Espa?a y formo parte de un equipo del Movimiento Humanista. Hoy son ya millones de personas las que experimentan c?mo la sociedad en que vivimos se deshumaniza d?a a d?a. El ser humano ha perdido todo valor, el mundo se mueve en torno al dinero y en base al ego?smo, mientras las personas van quedando cada vez m?s desamparadas. De este modo,

Hola a todos, Me gustaria construir un vector a partir de otros dos. Ejemplo: x <- 1:3 y <- 4:6 d <- data.frame(x, y) d$z <- with(d, paste0(x, ":", y, "-ABC")) d El problema es "d" tiene ~70 millones de filas y toma mucho tiempo construir el vector "z". Alguna sugerencia? Muchas gracias, Jorge Velez [[alternative HTML version deleted]]

Hola Comunidad, Una duda Como hago para saber los valores que hay en un campo de un Frame? Tengo un csv con mas de un millon de registros y en un campo de fecha quiero ver cuales fechas salen Muchas Gracias [[alternative HTML version deleted]]

Hola, me sorprende leer tu opinión ("R (puro) no es la herramienta ideal para el manejo directo del 'big data'") cuando precisamente este pasado mes de abril SparkR (ver descripción de su web más abajo) se ha integrado en Apache Spark y todo el mundo que está en "ese ajo" del "big data" (buzzword donde las haya) no le quita ojo a la publicación oficial este

Gracias, Javier. Los datos "d" corresponden un archivo de texto de ~1.92GB. Voy a explorar la posibilidad con sqldf, aunque confieso que mi conocimiento de SQL es bastante limitado. Saludos cordiales, Jorge.- 2014-12-09 23:50 GMT+11:00 "Marcuzzi, Javier Rubén" < javier.ruben.marcuzzi en gmail.com>: > Estimado Jorge Velez > > ¿Que pasa si usa sqldf que

Hi, I am performing glm with binomial family and my data show slight overdispersion (HF<1.5). Nevertheless, in order to take into account for this heterogeneity though weak, I use F-test rather than Chi-square (Krackow & Tkadlec, 2001). But surprisingly, outputs of this two tests are exactly similar. What is the reason and how can I scale the output by overdispersion ?? Thank you,

Estimados compañeros, Les contaré mi problema: supongamos que tengo millones de datos en un manejador famoso de base de datos al cual, por restricciones impuestas desde la alta gerencia, no puedo modificar en un ápice. Este manejador utiliza siempre (siempre) comas en lugar de puntos para separar decimales. Yo trabajo con R (naturalmente) y hago mis consultas a la base de datos utilizando la

Hello everyone, I know this is very basic question for you people. I'm working with mani diferent tables, but everyone has the same variables. (V1, V2, V3). The only think that I need to do is to put together this tables. In other words, creating just one big table with all the cases showed in the smaller tables. For example: tabla1<-data.frame(v1,v2,v3) tabla2<-data.frame(v1,v2,v3)

Hi, I use a disk space inventory tool called TreeSizePro to scan file filesystems on windows and linux boxes. On Linux systems I export these shares via samba to scan them. TreeSizePro is multi-threaded (32 crawlers) and I run it on windows 7. I am scanning file systems that are local to the linux servers and also nfs mounts that are re-exported via samba. If I scan a windows 2008 server I can

I want to use rsync with a cloud based rsync provider to do off-site backing up of a large (1TB) dataset which consists of 32 million+ files spread out in 300 directories. So the amount of files in any one directory can be quite large (upwards of 2 million). Rsync doesn't seem to cope with this well - even doing local copies in a directory with several thousands of files takes a long time to

Hola, Hola a todos, Os escribo porque no consigo finalizar el script necesario para realizar lo que a continuación planteo. Partiendo de un data frame (2 millones de casos), tengo: > datos2 ID FECHA YEAR CANTIDAD 1 100 2005-08-02 2005 1 2 100 2005-10-19 2005 2 3 100 2007-02-09 2007 1 4 100 2007-10-25 2007 1 5 100 2007-10-29 2007 1 6 120 2006-05-11

Hola, Otra forma, quizás algo más rápida, especialmente para unos conjuntos tan grandes, que la de sqldf es "data.table": library(data.table) x <- 1:3 y <- 4:6 d <- data.table(x, y) d[,z := paste(x,"-",y,sep="")] > d x y z 1: 1 4 1-4 2: 2 5 2-5 3: 3 6 3-6 Y bueno, "dplyr" también es otra opción muy rápida... También, y recuerdo que hace

En el correo anterior se me olvidó mencionar que trabajo con Rstudio El 28 de mayo de 2015, 15:18, MªLuz Morales <mlzmrls en gmail.com> escribió: > Hola, > soy nueva en esta lista y también en R. Yo he realizado un script en R > que carga dos archivos csv, uno de ellos con casi 2 millones de filas. El > programa carga esos archivos a data frame, y se trata simplemente de >

Hace poco me puse al tema del big data y la verdad es que een este campo la decisión parece clara. Python ahora mismo está un paso por delante de R, aunque sparklyR puede igualar la contienda. Pero lo que me empieza a preocupar es que parece que si nos alejamos del Big Data, Python tb está ganando adeptos a pasos agigantados. ¿Está perdiendo R la batalla? [[alternative HTML version deleted]]

Hola, ¿qué tal? Al final he descubierto el motivo del problema. Cierto que esperaba cierto nivel de _overhead_, pero nunca tantísimo. Por mucho _overhead_ que haya, no se pasa de 7MB a 5GB. El problema era que (a pesar de mi opción stringsAsFactors = F) los niveles de los factores se copiaban íntegros en cada una de las columnas de tipo factor de cada una de las tablas resultantes. Aunque no se

Hola, ¿qué tal? Si la base de datos de destino es SQL Server, ¿por qué no pruebas con la función dbBulkCopy del paquete https://github.com/agstudy/rsqlserver? Debería poder cargar millones de registros en segundos. Al menos, en una única transacción en lugar de múltiples como con sqlSave. Un saludo, Carlos J. Gil Bellosta http://www.datanalytics.com El día 12 de abril de 2016, 11:55,

Interesante... y preocupante. No propuso alguien, no hace mucho, reescribir R desde el principio por este tipo de cosas? El 13/06/13 20:04, Carlos Ortega escribió: > Hola, > > Si este comportamiento se ve con cualquier data.frame que luego conviertas > a lista: > >> >> v <- 1:10 >> w <- split(v, 1:2) >> w > $`1` > [1] 1 3 5 7 9 > > $`2`