H2O va bien (muy bien) tanto en un ordenador sobremesa/portátil y sobre un clúster. En uno de sobremesa si tienes buena RAM y muchos cores, mejor. Y no tienes porqué usar Spark si no necesitas una solución tiempo real o "near real-time". H2O tiene otra solución para interaccionar con Spark (Sparkling Water). Incluso sobre un clúster, puedes usar "sparklyr" y "rsparklyng" tanto para interaccionar con Spark sin salir de "R" (usando dplyr) y para interaccionar con H2O, igualmente sin salir de "R". Mira las páginas de RStudio que tratan estas dos soluciones o la presentación que hizo en el Grupo de Usuarios de R de Madrid de José Luis Cañadas que contó las dos alternativas. El 4 de junio de 2017, 12:04, Jesús Para Fernández < j.para.fernandez en hotmail.com> escribió:> H20 con grandes bases de datos y R funciona bien? O es necesario tirar de > spark y demás??? > > ------------------------------ > *De:* Carlos Ortega <cof en qualityexcellence.es> > *Enviado:* domingo, 4 de junio de 2017 12:02 > *Para:* Jesús Para Fernández > *Cc:* Isidro Hidalgo Arellano; Manuel Spínola; Lista R > *Asunto:* Re: [R-es] CV en R > > Si nos dices el tipo de problema que estás intentando solucionar y el > tamaño del dataset podemos recomendarte algo más. > En tu pseudo-código mezclas algoritmos supervisados y no-supervisados. > Además de ranger, daría alguna oportunidad a "gbm" o como no a "xgboost". > Y éstos los probaría dentro de H2O. > > Saludos, > Carlos Ortega > www.qualityexcellence.es > QualityExcellence <http://www.qualityexcellence.es/> > www.qualityexcellence.es > QUALITY EXCELLENCE, consultores en calidad, procesos y mejora continua > > > > El 4 de junio de 2017, 9:50, Jesús Para Fernández < > j.para.fernandez en hotmail.com> escribió: > >> El paquete ranger la verdad es que es la bomba. Acabo de probarlo y va >> muy muy bien. Mucho más rápido que randomForest!!!! >> >> Gracias Carlos. Algún "secretillo" más?? >> >> >> ------------------------------ >> *De:* Carlos Ortega <cof en qualityexcellence.es> >> *Enviado:* sábado, 3 de junio de 2017 21:52 >> *Para:* Jesús Para Fernández >> *Cc:* Isidro Hidalgo Arellano; Manuel Spínola; Lista R >> *Asunto:* Re: [R-es] CV en R >> >> Hola, >> >> Puedes ver aquí un ejemplo de cómo comparar varios modelos usando "caret". >> >> https://stackoverflow.com/questions/14800021/statistics-of- >> prediction-for-multiple-models-with-caret >> >> <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> >> Statistics of prediction for multiple models with caret >> <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> >> stackoverflow.com >> I am trying to get statistics of prediction for various training models >> with the package caret. Below is an example that illustrates my need: >> library(caret) # Training: # ... Get X and Y for trai... >> >> >> O mejor en el propio manual de "caret", en esta sección: >> >> https://topepo.github.io/caret/model-training-and-tuning. >> html#exploring-and-comparing-resampling-distributions >> The caret Package - GitHub Pages >> <https://topepo.github.io/caret/model-training-and-tuning.html#exploring-and-comparing-resampling-distributions> >> topepo.github.io >> 5.1 Model Training and Parameter Tuning. The caret package has several >> functions that attempt to streamline the model building and evaluation >> process. >> >> >> >> Y como recomendación te sugiero que usen "ranger" en vez de >> "randomForest", no solo por velocidad, si no también por las mejoras y >> ampliaciones de funcionalidad que incorpora. >> >> Saludos, >> Carlos Ortega >> www.qualityexcellence.es >> >> >> El 2 de junio de 2017, 19:58, Jesús Para Fernández < >> j.para.fernandez en hotmail.com> escribió: >> >>> Para el tema de los árboles necesarios se ve muy bien haciendo >>> plot(modelo) y se ve en que punto se han estabilizado o si necesitas más >>> árboles. >>> ------------------------------ >>> *De:* Isidro Hidalgo Arellano <ihidalgo en jccm.es> >>> *Enviado:* viernes, 2 de junio de 2017 15:01:37 >>> *Para:* 'Jesús Para Fernández'; 'Manuel Spínola' >>> *Cc:* 'Carlos Ortega'; 'Lista R' >>> >>> *Asunto:* RE: [R-es] CV en R >>> >>> >>> No, llega un momento en el que más árboles no te supone mejoría, e >>> incluso funciona peor. Que funcione peor lo atribuyo al ruido, porque en >>> teoría no tiene mucho sentido, la verdad... Pero no he probado a coger más >>> árboles de los "necesarios". Lo probaré? >>> >>> Un saludo >>> >>> >>> >>> *De:* Jesús Para Fernández [mailto:j.para.fernandez en hotmail.com] >>> *Enviado el:* viernes, 02 de junio de 2017 14:54 >>> *Para:* Isidro Hidalgo Arellano <ihidalgo en jccm.es>; 'Manuel Spínola' < >>> mspinola10 en gmail.com> >>> *CC:* 'Carlos Ortega' <cof en qualityexcellence.es>; 'Lista R' < >>> r-help-es en r-project.org> >>> *Asunto:* Re: [R-es] CV en R >>> >>> >>> >>> Si, de eso soy consciente. Normalmente cuantos más arboles cojas es >>> mejor no? el problema es que se incrementa el tiempo de computación... >>> >>> >>> ------------------------------ >>> >>> *De:* Isidro Hidalgo Arellano <ihidalgo en jccm.es> >>> *Enviado:* viernes, 2 de junio de 2017 14:50 >>> *Para:* 'Manuel Spínola' >>> *Cc:* 'Jesús Para Fernández'; 'Carlos Ortega'; 'Lista R' >>> *Asunto:* RE: [R-es] CV en R >>> >>> >>> >>> El algoritmo en sí no, pero si quieres ajustar los parámetros (número de >>> árboles, tamaño del nodo, etc.) hay que hacerlo. >>> >>> En la práctica te puedo asegurar que hay diferencia entre usar 500 >>> árboles o 100, igual que el tamaño del nodo que cojas; afinar los >>> parámetros puede suponer ajustar bastante los resultados. >>> >>> Un saludo >>> >>> >>> >>> >>> >>> Isidro Hidalgo Arellano >>> >>> Observatorio del Mercado de Trabajo >>> >>> Consejería de Economía, Empresas y Empleo >>> >>> http://www.castillalamancha.es/ >>> >>> Inicio | Gobierno de Castilla-La Mancha >>> <http://www.castillalamancha.es/> >>> >>> www.castillalamancha.es >>> >>> Web oficial del gobierno autonómico de Castilla-La Mancha con >>> información sobre actividad administrativa, economía, educación, sanidad, >>> servicios sociales, sede ... >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> *De:* Manuel Spínola [mailto:mspinola10 en gmail.com <mspinola10 en gmail.com>] >>> >>> *Enviado el:* viernes, 02 de junio de 2017 14:42 >>> *Para:* Isidro Hidalgo Arellano <ihidalgo en jccm.es> >>> *CC:* Jesús Para Fernández <j.para.fernandez en hotmail.com>; Carlos >>> Ortega <cof en qualityexcellence.es>; Lista R <r-help-es en r-project.org> >>> *Asunto:* Re: [R-es] CV en R >>> >>> >>> >>> Hola, >>> >>> >>> >>> No soy un experto en estas técnicas, pero hasta donde yo se, el >>> algoritmo Random Forest no requiere cross validation. >>> >>> >>> >>> Lo dice el mismo Leo Breiman que creo ha sido uno de los investigadores >>> que más ha contribuido al desarrollo de Random Forest ( >>> https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm) >>> >>> Random forests - classification description >>> <https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm> >>> >>> www.stat.berkeley.edu >>> >>> Contents. Introduction Overview Features of random forests Remarks How >>> Random Forests work The oob error estimate Variable importance Gini >>> importance >>> >>> >>> >>> >>> >>> Manuel >>> >>> >>> >>> El 2 de junio de 2017, 6:35, Isidro Hidalgo Arellano <ihidalgo en jccm.es> >>> escribió: >>> >>> Una vez que tienes la técnica y los parámetros óptimos resultantes de la >>> validación cruzada, ya tienes el modelo que necesitas, NO tienes que >>> hacer >>> nada más. Si vuelves a modelar con todos los datos todo el trabajo de >>> validación que has hecho lo envías a hacer gárgaras. Estarías >>> construyendo >>> un modelo con sobreajuste. >>> >>> >>> >>> Para quedarte tranquilo, haz la prueba, coge el modelo resultante de la >>> validación y ve aplicándolo a los nuevos datos. Haz lo mismo con el que >>> obtengas de ése paso final que NO debes dar, y que no te he puesto en mi >>> código corregido, a saber: >>> >>> modelo.final<-randomForest(respuesta~.,datos) >>> >>> >>> >>> Cuando los aplicas con los nuevos datos, ¿cuál funciona mejor? >>> >>> >>> >>> Un saludo >>> >>> >>> >>> >>> >>> Isidro Hidalgo Arellano >>> >>> Observatorio del Mercado de Trabajo >>> >>> Consejería de Economía, Empresas y Empleo >>> >>> http://www.castillalamancha.es/ >>> >>> >>> >>> >>> >>> >>> >>> De: Jesús Para Fernández [mailto:j.para.fernandez en hotmail.com] >>> Enviado el: viernes, 02 de junio de 2017 14:21 >>> Para: Carlos Ortega <cof en qualityexcellence.es> >>> CC: Lista R <r-help-es en r-project.org>; Isidro Hidalgo Arellano >>> <ihidalgo en jccm.es> >>> Asunto: Re: [R-es] CV en R >>> >>> >>> >>> Pero creo que hay un concepto que no termina de aclararse. >>> >>> >>> >>> Creo que lo importante es quedarse con el modelo bueno, por ejemplo, >>> imaginemos que queremos probar los siguientes algoritmos: RF, SVM, KNN, >>> LDA.... >>> >>> >>> >>> Entonces hacemos lo siguiente: >>> >>> >>> >>> Probamos con todos ellos, para lo que se hacen particiones: >>> >>> >>> >>> Imaginemos que tengo un datasheet llamado datos, perfectamnte balanceado, >>> sin datos faltantes, ni ruido ni nada asi. Entonces: >>> >>> >>> >>> for(i in 1:10){ >>> >>> train #saco el train de los datos >>> >>> test #saco el test de los datos >>> >>> pruebo RF, con diferentes configuaraciones (bucles j,k) >>> >>> pruebo SVM, con diferentes configuaraciones (bucles j,k) >>> >>> pruebo KNN >>> >>> pruebo LDA >>> >>> >>> >>> guardo resultados >>> >>> >>> >>> } >>> >>> >>> >>> y sobre el que mejor de, entonces ya creo el modelo definitivo, con el >>> conjunto de datos global. Si fuera un randomForest >>> >>> >>> >>> randomForest(respuesta~.,ntree=500,nodesize=4,datos) >>> >>> >>> >>> Y ese es mi modelo para los proximos daots que vengan yq ue no han >>> formado >>> parte del datasheet datos >>> >>> >>> >>> _____ >>> >>> De: Carlos Ortega < <mailto:cof en qualityexcellence.es> >>> cof en qualityexcellence.es> >>> Enviado: viernes, 2 de junio de 2017 13:11 >>> Para: Jesús Para Fernández >>> Cc: Lista R; Isidro Hidalgo Arellano >>> Asunto: Re: [R-es] CV en R >>> >>> >>> >>> Hola, >>> >>> >>> >>> Eso es justamente lo que hace "caret" de una manera muy sencilla y sin >>> que >>> tú te tengas que preocupar de quedarte con el mejor bucket (del CV) o >>> con >>> la mejor combinación en tu "grid search". >>> >>> >>> >>> Te recomiendo que uses "caret" para esto.... >>> >>> Puedes incluso evaluar los dos algoritmos "RF" y "svm" a la vez y conocer >>> realmente el nivel de precisión que ofrecen ambos. >>> >>> Y claro, inicialmente puedes elegir el conjunto de entrenamiento sobre el >>> que haces el CV dejando el resto "test" para validar el nivel de >>> predicción. >>> >>> >>> >>> Gracias, >>> >>> Carlos Ortega >>> >>> <http://www.qualityexcellence.es> www.qualityexcellence.es >>> >>> >>> <http://www.qualityexcellence.es/> QualityExcellence >>> >>> <http://www.qualityexcellence.es> www.qualityexcellence.es >>> >>> QUALITY EXCELLENCE, consultores en calidad, procesos y mejora continua >>> >>> >>> >>> >>> >>> El 2 de junio de 2017, 13:06, Isidro Hidalgo Arellano < >>> <mailto:ihidalgo en jccm.es> ihidalgo en jccm.es> escribió: >>> >>> >>> No me has parecido para nada borde. >>> >>> >>> >>> Ok. Centrémonos en RF y bajemos el nº de parámetros a 2: ntree y >>> nodesize. >>> >>> Te haces una parrilla de ntree: 100, 200, 300, 400, 500 >>> >>> Otra de nodesize: 3, 6, 10 >>> >>> Con esto tienes 15 combinaciones. >>> >>> Vamos al código. Simplemente crea una lista donde metes los resultados (y >>> tienes que añadir los parámetros, que has omitido) >>> >>> Después graficas usando un mapa de calor para ver qué combinación de >>> parámetros te da el mejor resultado (en abscisas ntree y en ordenadas >>> nodesize). Una vez que veas los intervalos de parámetros que mejor se >>> comportan, afinas el resultado con otra validación cruzada: >>> >>> >>> >>> for(i in 1:15){ >>> >>> >>> >>> numeros<-sample(1:1500,1500*0.7) >>> >>> >>> >>> train<-datos[numeros,] >>> >>> >>> >>> test<-datos[-numeros,] >>> >>> >>> >>> >>> >>> #modeloRF >>> >>> >>> >>> resultadoRF <- list() >>> >>> >>> >>> modelo.rf<-randomForest(respuesta~,train) >>> >>> >>> >>> prediccion<-predict(modelo.rf,test) >>> >>> >>> >>> fp<-table(prediccion,test$respuesta)[2,1] >>> >>> fn<-table(prediccion,test$respuesta)[1,2] >>> >>> error<-(fp+fn)/nrow(train.balanceado) >>> >>> resultadoRF[[i]]<-rbind(resultado,data.frame(error=error,modelo="rf")) >>> >>> >>> >>> #modelo SVM >>> >>> >>> >>> resultadoSVM <- list() >>> >>> >>> >>> modelo.svm<-svm(respuesta~,train) >>> >>> >>> >>> prediccion<-predict(modelo.svm,test) >>> >>> >>> >>> fp<-table(prediccion,test$respuesta)[2,1] >>> >>> fn<-table(prediccion,test$respuesta)[1,2] >>> >>> error<-(fp+fn)/nrow(train.balanceado) >>> >>> resultadoSVM[[i]]<-rbind(resultado,data.frame(error=error,modelo="svm")) >>> >>> >>> >>> } >>> >>> >>> >>> Un saludo >>> >>> >>> >>> Isidro Hidalgo Arellano >>> >>> Observatorio del Mercado de Trabajo >>> >>> Consejería de Economía, Empresas y Empleo >>> >>> <http://www.castillalamancha.es/> http://www.castillalamancha.es/ >>> >>> >>> >>> >>> >>> >>> >>> De: Jesús Para Fernández [mailto: <mailto:j.para.fernandez en hotmail.com> >>> j.para.fernandez en hotmail.com] >>> Enviado el: viernes, 02 de junio de 2017 12:50 >>> Para: Isidro Hidalgo Arellano < <mailto:ihidalgo en jccm.es> >>> ihidalgo en jccm.es>; >>> <mailto:r-help-es en r-project.org> r-help-es en r-project.org >>> Asunto: Re: [R-es] CV en R >>> >>> >>> >>> Buenas, >>> >>> >>> >>> Puse los modelos lo mas simplificados, para centrar el tiro en el tema >>> que >>> me preocupa. >>> >>> >>> >>> Es una pena no poder hablar cara a cara, porque por email puedo sonar >>> algo >>> borde, pero no es así, al contrario estoy enormemente agradecido por tu >>> ayuda, pero le veo un problema. >>> >>> Me dices que use un list para ir guardando el modelo, pero tal y como he >>> propuesto en el bucle for, el modelo se crea 10 veces, es decir, que >>> entiendo que si es un randomForest, tendria que entonces hacer una >>> combinacion de esos 10 modelos con la funcion combine de RF para unir >>> esos >>> modelos, verdad?? Porque sino estaria en el mismo problema, generando un >>> modelo generalista de una simple submuestra de los datos. >>> >>> >>> >>> Gracias por todo!!! >>> >>> Jesús >>> >>> >>> >>> _____ >>> >>> De: Isidro Hidalgo Arellano < <mailto:ihidalgo en jccm.es> ihidalgo en jccm.es >>> <mailto: <mailto:ihidalgo en jccm.es> ihidalgo en jccm.es> > >>> Enviado: viernes, 2 de junio de 2017 12:28 >>> Para: 'Jesús Para Fernández'; <mailto:r-help-es en r-project.org> >>> r-help-es en r-project.org >>> <mailto: <mailto:r-help-es en r-project.org> r-help-es en r-project.org> >>> >>> Asunto: RE: [R-es] CV en R >>> >>> >>> >>> >>> No me había fijado en el código, te había he contestado teóricamente. >>> >>> A ver, en ese código tienes varios problemas: >>> >>> - No especificas los parámetros del modelo (para eso es la >>> validación cruzada). En RF tendrías que especificar el número de >>> árboles, la >>> cantidad de puntos con los que acotar la regresión, etc. En SVM el tipo >>> de >>> kernel que vas a usar, la sensibilidad? NO SE TRATA SÓLO de hacer modelos >>> con diferentes conjuntos de entrenamiento, sino de buscar los parámetros >>> que >>> mejor ajustan los datos. >>> >>> Te pongo un ejemplo: imagínate que tienes mucho ruido, en ese caso, en >>> cada >>> punto de regresión, tendrás que tomar un número de puntos mayor >>> (parámetro >>> "nodesize") >>> >>> - Respecto a no guardar los modelos, es muy fácil con una lista. >>> Cada modelo que hagas, guárdalo en un lista, junto con los datos de >>> resultados que quieras (incluyendo los parámetros de especificación del >>> modelo) >>> >>> Te recomiendo 2 cosas: >>> >>> - Usa el paquete caret >>> >>> - Lee este libro: >>> <https://link.springer.com/book/10.1007/978-1-4614-6849-3> >>> https://link.springer.com/book/10.1007/978-1-4614-6849-3 >>> >>> Con el libro matas varios pájaros de un tiro: >>> >>> - Aprendes algo de teoría (poca), que siempre viene bien >>> >>> - El autor es el creador del paquete caret >>> >>> Si tienes tiempo, yo buscaría un curso del MIT que es muy bueno, aunque >>> de >>> los duros, te lo tienes que programar casi todo desde 0, pero cuando >>> acabas, >>> la teoría (con éste sí) la has machacado bastante bien, y sabes lo que >>> hace >>> un SVM, un RF. Es éste: >>> >>> <https://www.edx.org/course/learning-data-introductory-machi >>> ne-caltechx-cs11 >>> 56x >>> <https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs1156x> >>> > >>> https://www.edx.org/course/learning-data-introductory-machin >>> e-caltechx-cs115 >>> 6x >>> <https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs1156x> >>> >>> >>> >>> >>> < >>> <https://www.edx.org/course/learning-data-introductory-machi >>> ne-caltechx-cs11 >>> 56x >>> <https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs1156x> >>> > >>> https://www.edx.org/course/learning-data-introductory-machin >>> e-caltechx-cs11 >>> 56x >>> <https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs1156x> >>> > >>> >>> >>> < >>> <https://www.edx.org/course/learning-data-introductory-machi >>> ne-caltechx-cs11 >>> > >>> https://www.edx.org/course/learning-data-introductory-machin >>> e-caltechx-cs11 >>> 56x >>> <https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs1156x>> >>> Learning From Data (Introductory Machine Learning) | edX >>> >>> <http://www.edx.org> www.edx.org < <http://www.edx.org> >>> http://www.edx.org> >>> >>> Introductory Machine Learning course covering theory, algorithms and >>> applications. Our focus is on real understanding, not just "knowing." >>> >>> >>> >>> Tiene un libro asociado que está muy bien también. >>> >>> Si te da miedito, hay otro más suave, de los clásicos Hastie y >>> Tibshirani: >>> >>> <https://lagunita.stanford.edu/courses/HumanitiesSciences/St >>> atLearning/Winte >>> r2016/about >>> <https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winter2016/about> >>> > >>> https://lagunita.stanford.edu/courses/HumanitiesSciences/Sta >>> tLearning/Winter >>> 2016/about >>> <https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winter2016/about> >>> >>> >>> >>> < >>> <https://lagunita.stanford.edu/courses/HumanitiesSciences/St >>> atLearning/Winte >>> r2016/about >>> <https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winter2016/about> >>> > >>> https://lagunita.stanford.edu/courses/HumanitiesSciences/Sta >>> tLearning/Winte >>> r2016/about >>> <https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winter2016/about>> >>> Statistical Learning | Stanford Lagunita >>> >>> <http://lagunita.stanford.edu> lagunita.stanford.edu >>> >>> StatLearning now self paced! The active course run for Statistical >>> Learning >>> has ended, but the course is now available in a self paced mode. You are >>> welcome to join ... >>> >>> >>> >>> Éstos también tienen 2 libros muy buenos. El resumido es en el que se >>> basa >>> el curso anterior. >>> >>> >>> >>> De: Jesús Para Fernández [mailto: <mailto:j.para.fernandez en hotmail.com> >>> j.para.fernandez en hotmail.com] >>> Enviado el: viernes, 02 de junio de 2017 12:04 >>> Para: Isidro Hidalgo Arellano < <mailto:ihidalgo en jccm.es> >>> ihidalgo en jccm.es >>> <mailto: <mailto:ihidalgo en jccm.es> ihidalgo en jccm.es> >; >>> <mailto:r-help-es en r-project.org> r-help-es en r-project.org <mailto: >>> <mailto:r-help-es en r-project.org> r-help-es en r-project.org> >>> Asunto: Re: [R-es] CV en R >>> >>> >>> >>> Es que es justo ahi donde no se como hacerlo. >>> >>> Es decir, dentro del bucle for hago las comprobaciones train test, y me >>> da >>> que de media el mejor es randomForest, pero claro, no me estoy quedando >>> con >>> el modelo, ya que no se va guardando....Entonces es cuando no se como >>> seguir >>> para quedarme con ese modelo.... >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> _____ >>> >>> De: Isidro Hidalgo Arellano < <mailto: <mailto:ihidalgo en jccm.es> >>> ihidalgo en jccm.es> <mailto:ihidalgo en jccm.es> ihidalgo en jccm.es> >>> Enviado: viernes, 2 de junio de 2017 11:59 >>> Para: 'Jesús Para Fernández'; <mailto: <mailto:r-help-es en r-project.org> >>> r-help-es en r-project.org> >>> <mailto:r-help-es en r-project.org> r-help-es en r-project.org >>> Asunto: RE: [R-es] CV en R >>> >>> >>> >>> No, no. Si construyes el modelo con todos los datos, explícame para qué >>> te >>> ha servido la validación cruzada... ¿Sólo para saber si funciona mejor >>> SVM o >>> RF con ese conjunto de datos? Eso es insuficiente. >>> Cuando construyes un modelo, lo haces entrenando con datos que el modelo >>> NO >>> VE, ahí está la gracia... >>> Te tienes que quedar con el mejor modelo entrenado. Y después ver cómo te >>> funciona en la vida real, es decir, con nuevos datos que el modelo NO HA >>> VISTO. >>> >>> Un saludo. >>> >>> >>> Isidro Hidalgo Arellano >>> Observatorio del Mercado de Trabajo >>> Consejería de Economía, Empresas y Empleo >>> < <http://www.castillalamancha.es/> http://www.castillalamancha.es/> >>> <http://www.castillalamancha.es/> http://www.castillalamancha.es/ >>> >>> >>> < <http://www.castillalamancha.es/> http://www.castillalamancha.es/> >>> Inicio >>> | Gobierno de Castilla-La Mancha >>> >>> < <http://www.castillalamancha.es> http://www.castillalamancha.es> >>> <http://www.castillalamancha.es> www.castillalamancha.es >>> >>> Web oficial del gobierno autonómico de Castilla-La Mancha con información >>> sobre actividad administrativa, economía, educación, sanidad, servicios >>> sociales, sede ... >>> >>> >>> >>> >>> >>> >>> -----Mensaje original----- >>> De: R-help-es [ <mailto: <mailto:r-help-es-bounces en r-project.org> >>> r-help-es-bounces en r-project.org> >>> mailto: <mailto:r-help-es-bounces en r-project.org> >>> r-help-es-bounces en r-project.org] En nombre de Jesús >>> Para Fernández >>> Enviado el: viernes, 02 de junio de 2017 11:48 >>> Para: <mailto: <mailto:r-help-es en r-project.org> r-help-es en r-project.org >>> > >>> <mailto:r-help-es en r-project.org> r-help-es en r-project.org >>> >>> >>> Asunto: [R-es] CV en R >>> >>> Buenas, >>> >>> >>> Estoy haciendo modelos y comparando cual es mejor. Para ello, uso CV de >>> 10 >>> folds. >>> >>> >>> Por ejemplo, hago la comparativa entre un svm y un randomForest para una >>> serie de datos, por ello hago: >>> >>> >>> midataset<-import..... >>> >>> >>> #datos es un dataframe de 1500 filas y 15 variables >>> >>> >>> for(i in 1:10){ >>> >>> numeros<-sample(1:1500,1500*0.7) >>> >>> train<-datos[numeros,] >>> >>> test<-datos[-numeros,] >>> >>> >>> #modeloRF >>> >>> modelo.rf<-randomForest(respuesta~,train) >>> >>> prediccion<-predict(modelo.rf,test) >>> >>> fp<-table(prediccion,test$respuesta)[2,1] >>> fn<-table(prediccion,test$respuesta)[1,2] >>> error<-(fp+fn)/nrow(train.balanceado) >>> resultado<-rbind(resultado,data.frame(error=error,modelo="rf")) >>> >>> #modelo SVM >>> >>> >>> modelo.svm<-svm(respuesta~,train) >>> >>> prediccion<-predict(modelo.svm,test) >>> >>> fp<-table(prediccion,test$respuesta)[2,1] >>> fn<-table(prediccion,test$respuesta)[1,2] >>> error<-(fp+fn)/nrow(train.balanceado) >>> resultado<-rbind(resultado,data.frame(error=error,modelo="svm")) >>> >>> } >>> >>> >>> Mi pregunta es la siguiente. Si el modelo de RF es mejor, como me quedo >>> con >>> el modelo final? Tengo que crear el modelo de nuevo, sin tener en cuenta >>> el >>> train? >>> >>> >>> modelo.final<-randomForest(respuesta~.,datos) >>> >>> >>> Gracias!!!! >>> >>> >>> >>> >>> [[alternative HTML version deleted]] >>> >>> _______________________________________________ >>> R-help-es mailing list >>> >>> <mailto: <mailto:R-help-es en r-project.org> R-help-es en r-project.org> >>> <mailto:R-help-es en r-project.org> R-help-es en r-project.org >>> < <https://stat.ethz.ch/mailman/listinfo/r-help-es> >>> https://stat.ethz.ch/mailman/listinfo/r-help-es> >>> >>> <https://stat.ethz.ch/mailman/listinfo/r-help-es> >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>> >>> >>> [[alternative HTML version deleted]] >>> >>> >>> _______________________________________________ >>> R-help-es mailing list >>> <mailto:R-help-es en r-project.org> R-help-es en r-project.org >>> <https://stat.ethz.ch/mailman/listinfo/r-help-es> >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>> >>> >>> >>> >>> >>> >>> >>> -- >>> >>> Saludos, >>> Carlos Ortega >>> <http://www.qualityexcellence.es> www.qualityexcellence.es >>> >>> >>> [[alternative HTML version deleted]] >>> >>> >>> _______________________________________________ >>> R-help-es mailing list >>> R-help-es en r-project.org >>> https://stat.ethz.ch/mailman/listinfo/r-help-es >>> >>> >>> >>> >>> >>> -- >>> >>> *Manuel Spínola, Ph.D.* >>> Instituto Internacional en Conservación y Manejo de Vida Silvestre >>> Universidad Nacional >>> Apartado 1350-3000 >>> Heredia >>> COSTA RICA >>> mspinola en una.cr <mspinola en una.ac.cr> >>> mspinola10 en gmail.com >>> Teléfono: (506) 8706 - 4662 >>> Personal website: Lobito de río >>> <https://sites.google.com/site/lobitoderio/> >>> Institutional website: ICOMVIS <http://www.icomvis.una.ac.cr/> >>> >> >> >> >> -- >> Saludos, >> Carlos Ortega >> www.qualityexcellence.es >> > > > > -- > Saludos, > Carlos Ortega > www.qualityexcellence.es >-- Saludos, Carlos Ortega www.qualityexcellence.es [[alternative HTML version deleted]]
Sigo el grupo de Madrid, pero en diferido. Es posible empezar a seguir al grupo
en directo, es decir, mediante Skype o similar???
Aquí en el país vasco no hay nigun grupo de R y creo que aunque lo formaramos
nunca llegaríamos a ser tan potentes como el de Madrid?
Enviado desde Correo<https://go.microsoft.com/fwlink/?LinkId=550986> para
Windows 10
De: Carlos Ortega<mailto:cof en qualityexcellence.es>
Enviado: domingo, 4 de junio de 2017 12:11
Para: Jesús Para Fernández<mailto:j.para.fernandez en hotmail.com>
CC: Isidro Hidalgo Arellano<mailto:ihidalgo en jccm.es>; Manuel
Spínola<mailto:mspinola10 en gmail.com>; Lista R<mailto:r-help-es en
r-project.org>
Asunto: Re: [R-es] CV en R
H2O va bien (muy bien) tanto en un ordenador sobremesa/portátil y sobre un
clúster. En uno de sobremesa si tienes buena RAM y muchos cores, mejor. Y no
tienes porqué usar Spark si no necesitas una solución tiempo real o "near
real-time". H2O tiene otra solución para interaccionar con Spark (Sparkling
Water).
Incluso sobre un clúster, puedes usar "sparklyr" y
"rsparklyng" tanto para interaccionar con Spark sin salir de
"R" (usando dplyr) y para interaccionar con H2O, igualmente sin salir
de "R". Mira las páginas de RStudio que tratan estas dos soluciones o
la presentación que hizo en el Grupo de Usuarios de R de Madrid de José Luis
Cañadas que contó las dos alternativas.
El 4 de junio de 2017, 12:04, Jesús Para Fernández <j.para.fernandez en
hotmail.com<mailto:j.para.fernandez en hotmail.com>> escribió:
H20 con grandes bases de datos y R funciona bien? O es necesario tirar de spark
y demás???
De: Carlos Ortega <cof en qualityexcellence.es<mailto:cof en
qualityexcellence.es>>
Enviado: domingo, 4 de junio de 2017 12:02
Para: Jesús Para Fernández
Cc: Isidro Hidalgo Arellano; Manuel Spínola; Lista R
Asunto: Re: [R-es] CV en R
Si nos dices el tipo de problema que estás intentando solucionar y el tamaño del
dataset podemos recomendarte algo más.
En tu pseudo-código mezclas algoritmos supervisados y no-supervisados.
Además de ranger, daría alguna oportunidad a "gbm" o como no a
"xgboost". Y éstos los probaría dentro de H2O.
Saludos,
Carlos Ortega
www.qualityexcellence.es<http://www.qualityexcellence.es>
QualityExcellence<http://www.qualityexcellence.es/>
www.qualityexcellence.es<http://www.qualityexcellence.es>
QUALITY EXCELLENCE, consultores en calidad, procesos y mejora continua
El 4 de junio de 2017, 9:50, Jesús Para Fernández <j.para.fernandez en
hotmail.com<mailto:j.para.fernandez en hotmail.com>> escribió:
El paquete ranger la verdad es que es la bomba. Acabo de probarlo y va muy muy
bien. Mucho más rápido que randomForest!!!!
Gracias Carlos. Algún "secretillo" más??
De: Carlos Ortega <cof en qualityexcellence.es<mailto:cof en
qualityexcellence.es>>
Enviado: sábado, 3 de junio de 2017 21:52
Para: Jesús Para Fernández
Cc: Isidro Hidalgo Arellano; Manuel Spínola; Lista R
Asunto: Re: [R-es] CV en R
Hola,
Puedes ver aquí un ejemplo de cómo comparar varios modelos usando
"caret".
https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Statistics of prediction for multiple models with
caret<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
stackoverflow.com<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
I am trying to get statistics of prediction for various training models with the
package caret. Below is an example that illustrates my need: library(caret) #
Training: # ... Get X and Y for
trai...<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
O mejor en el propio manual de "caret", en esta
sección:<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
https://topepo.github.io/caret/model-training-and-tuning.html#exploring-and-comparing-resampling-distributions
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
The caret Package - GitHub
Pages<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
topepo.github.io<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
5.1 Model Training and Parameter Tuning. The caret package has several functions
that attempt to streamline the model building and evaluation
process.<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Y como recomendación te sugiero que usen "ranger" en vez de
"randomForest", no solo por velocidad, si no también por las mejoras y
ampliaciones de funcionalidad que
incorpora.<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Saludos,<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Carlos
Ortega<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
www.qualityexcellence.es<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
El 2 de junio de 2017, 19:58, Jesús Para Fernández <j.para.fernandez en
hotmail.com>
escribió:<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Para el tema de los árboles necesarios se ve muy bien haciendo plot(modelo) y se
ve en que punto se han estabilizado o si necesitas más árboles.
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
De: Isidro Hidalgo Arellano <ihidalgo en jccm.es>
Enviado: viernes, 2 de junio de 2017 15:01:37
Para: 'Jesús Para Fernández'; 'Manuel Spínola'
Cc: 'Carlos Ortega'; 'Lista R'
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Asunto: RE: [R-es] CV en
R<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
No, llega un momento en el que más árboles no te supone mejoría, e incluso
funciona peor. Que funcione peor lo atribuyo al ruido, porque en teoría no tiene
mucho sentido, la verdad... Pero no he probado a coger más árboles de los
"necesarios". Lo probaré?
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Un
saludo<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
De: Jesús Para Fernández [mailto:j.para.fernandez en hotmail.com]
Enviado el: viernes, 02 de junio de 2017 14:54
Para: Isidro Hidalgo Arellano <ihidalgo en jccm.es>; 'Manuel
Spínola' <mspinola10 en gmail.com>
CC: 'Carlos Ortega' <cof en qualityexcellence.es>; 'Lista
R' <r-help-es en r-project.org>
Asunto: Re: [R-es] CV en
R<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Si, de eso soy consciente. Normalmente cuantos más arboles cojas es mejor no? el
problema es que se incrementa el tiempo de
computación...<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
De: Isidro Hidalgo Arellano <ihidalgo en jccm.es>
Enviado: viernes, 2 de junio de 2017 14:50
Para: 'Manuel Spínola'
Cc: 'Jesús Para Fernández'; 'Carlos Ortega'; 'Lista R'
Asunto: RE: [R-es] CV en R
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
El algoritmo en sí no, pero si quieres ajustar los parámetros (número de
árboles, tamaño del nodo, etc.) hay que
hacerlo.<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
En la práctica te puedo asegurar que hay diferencia entre usar 500 árboles o
100, igual que el tamaño del nodo que cojas; afinar los parámetros puede suponer
ajustar bastante los
resultados.<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Un
saludo<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Isidro Hidalgo
Arellano<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Observatorio del Mercado de
Trabajo<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Consejería de Economía, Empresas y
Empleo<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
http://www.castillalamancha.es/<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Inicio | Gobierno de Castilla-La
Mancha<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
www.castillalamancha.es<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Web oficial del gobierno autonómico de Castilla-La Mancha con información sobre
actividad administrativa, economía, educación, sanidad, servicios sociales, sede
...<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
De: Manuel Spínola [mailto:mspinola10 en gmail.com]
Enviado el: viernes, 02 de junio de 2017 14:42
Para: Isidro Hidalgo Arellano <ihidalgo en jccm.es>
CC: Jesús Para Fernández <j.para.fernandez en hotmail.com>; Carlos Ortega
<cof en qualityexcellence.es>; Lista R <r-help-es en r-project.org>
Asunto: Re: [R-es] CV en
R<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Hola,<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
No soy un experto en estas técnicas, pero hasta donde yo se, el algoritmo Random
Forest no requiere cross
validation.<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Lo dice el mismo Leo Breiman que creo ha sido uno de los investigadores que más
ha contribuido al desarrollo de Random Forest
(https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm)<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Random forests - classification
description<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
www.stat.berkeley.edu<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Contents. Introduction Overview Features of random forests Remarks How Random
Forests work The oob error estimate Variable importance Gini
importance<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Manuel<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
El 2 de junio de 2017, 6:35, Isidro Hidalgo Arellano <ihidalgo en jccm.es>
escribió:<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Una vez que tienes la técnica y los parámetros óptimos resultantes de la
validación cruzada, ya tienes el modelo que necesitas, NO tienes que hacer
nada más. Si vuelves a modelar con todos los datos todo el trabajo de
validación que has hecho lo envías a hacer gárgaras. Estarías construyendo
un modelo con sobreajuste.
Para quedarte tranquilo, haz la prueba, coge el modelo resultante de la
validación y ve aplicándolo a los nuevos datos. Haz lo mismo con el que
obtengas de ése paso final que NO debes dar, y que no te he puesto en mi
código corregido, a saber:
modelo.final<-randomForest(respuesta~.,datos)
Cuando los aplicas con los nuevos datos, ¿cuál funciona mejor?
Un saludo
Isidro Hidalgo Arellano
Observatorio del Mercado de Trabajo
Consejería de Economía, Empresas y Empleo
http://www.castillalamancha.es/
De: Jesús Para Fernández [mailto:j.para.fernandez en hotmail.com]
Enviado el: viernes, 02 de junio de 2017 14:21
Para: Carlos Ortega <cof en qualityexcellence.es>
CC: Lista R <r-help-es en r-project.org>; Isidro Hidalgo Arellano
<ihidalgo en jccm.es>
Asunto: Re: [R-es] CV en R
Pero creo que hay un concepto que no termina de aclararse.
Creo que lo importante es quedarse con el modelo bueno, por ejemplo,
imaginemos que queremos probar los siguientes algoritmos: RF, SVM, KNN,
LDA....
Entonces hacemos lo siguiente:
Probamos con todos ellos, para lo que se hacen particiones:
Imaginemos que tengo un datasheet llamado datos, perfectamnte balanceado,
sin datos faltantes, ni ruido ni nada asi. Entonces:
for(i in 1:10){
train #saco el train de los datos
test #saco el test de los datos
pruebo RF, con diferentes configuaraciones (bucles j,k)
pruebo SVM, con diferentes configuaraciones (bucles j,k)
pruebo KNN
pruebo LDA
guardo resultados
}
y sobre el que mejor de, entonces ya creo el modelo definitivo, con el
conjunto de datos global. Si fuera un randomForest
randomForest(respuesta~.,ntree=500,nodesize=4,datos)
Y ese es mi modelo para los proximos daots que vengan yq ue no han formado
parte del datasheet datos
_____
De: Carlos Ortega < <mailto:cof en qualityexcellence.es>
cof en qualityexcellence.es>
Enviado: viernes, 2 de junio de 2017 13:11
Para: Jesús Para Fernández
Cc: Lista R; Isidro Hidalgo Arellano
Asunto: Re: [R-es] CV en R
Hola,
Eso es justamente lo que hace "caret" de una manera muy sencilla y sin
que
tú te tengas que preocupar de quedarte con el mejor bucket (del CV) o con
la mejor combinación en tu "grid search".
Te recomiendo que uses "caret" para esto....
Puedes incluso evaluar los dos algoritmos "RF" y "svm" a la
vez y conocer
realmente el nivel de precisión que ofrecen ambos.
Y claro, inicialmente puedes elegir el conjunto de entrenamiento sobre el
que haces el CV dejando el resto "test" para validar el nivel de
predicción.
Gracias,
Carlos Ortega
<http://www.qualityexcellence.es> www.qualityexcellence.es
<http://www.qualityexcellence.es/> QualityExcellence
<http://www.qualityexcellence.es> www.qualityexcellence.es
QUALITY EXCELLENCE, consultores en calidad, procesos y mejora continua
El 2 de junio de 2017, 13:06, Isidro Hidalgo Arellano <
<mailto:ihidalgo en jccm.es> ihidalgo en jccm.es>
escribió:<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
No me has parecido para nada borde.
Ok. Centrémonos en RF y bajemos el nº de parámetros a 2: ntree y nodesize.
Te haces una parrilla de ntree: 100, 200, 300, 400, 500
Otra de nodesize: 3, 6, 10
Con esto tienes 15 combinaciones.
Vamos al código. Simplemente crea una lista donde metes los resultados (y
tienes que añadir los parámetros, que has omitido)
Después graficas usando un mapa de calor para ver qué combinación de
parámetros te da el mejor resultado (en abscisas ntree y en ordenadas
nodesize). Una vez que veas los intervalos de parámetros que mejor se
comportan, afinas el resultado con otra validación cruzada:
for(i in 1:15){
numeros<-sample(1:1500,1500*0.7)
train<-datos[numeros,]
test<-datos[-numeros,]
#modeloRF
resultadoRF <- list()
modelo.rf<-randomForest(respuesta~,train)
prediccion<-predict(modelo.rf,test)
fp<-table(prediccion,test$respuesta)[2,1]
fn<-table(prediccion,test$respuesta)[1,2]
error<-(fp+fn)/nrow(train.balanceado)
resultadoRF[[i]]<-rbind(resultado,data.frame(error=error,modelo="rf"))
#modelo SVM
resultadoSVM <- list()
modelo.svm<-svm(respuesta~,train)
prediccion<-predict(modelo.svm,test)
fp<-table(prediccion,test$respuesta)[2,1]
fn<-table(prediccion,test$respuesta)[1,2]
error<-(fp+fn)/nrow(train.balanceado)
resultadoSVM[[i]]<-rbind(resultado,data.frame(error=error,modelo="svm"))
}
Un saludo
Isidro Hidalgo Arellano
Observatorio del Mercado de Trabajo
Consejería de Economía, Empresas y
Empleo<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<http://www.castillalamancha.es/> http://www.castillalamancha.es/
De: Jesús Para Fernández [mailto: <mailto:j.para.fernandez en hotmail.com>
j.para.fernandez en hotmail.com]
Enviado el: viernes, 02 de junio de 2017 12:50
Para: Isidro Hidalgo Arellano < <mailto:ihidalgo en jccm.es> ihidalgo
en jccm.es>;
<mailto:r-help-es en r-project.org> r-help-es en r-project.org
Asunto: Re: [R-es] CV en R
Buenas,
Puse los modelos lo mas simplificados, para centrar el tiro en el tema que
me preocupa.
Es una pena no poder hablar cara a cara, porque por email puedo sonar algo
borde, pero no es así, al contrario estoy enormemente agradecido por tu
ayuda, pero le veo un problema.
Me dices que use un list para ir guardando el modelo, pero tal y como he
propuesto en el bucle for, el modelo se crea 10 veces, es decir, que
entiendo que si es un randomForest, tendria que entonces hacer una
combinacion de esos 10 modelos con la funcion combine de RF para unir esos
modelos, verdad?? Porque sino estaria en el mismo problema, generando un
modelo generalista de una simple submuestra de los datos.
Gracias por todo!!!
Jesús
_____
De: Isidro Hidalgo Arellano < <mailto:ihidalgo en jccm.es> ihidalgo en
jccm.es
<mailto: <mailto:ihidalgo en jccm.es> ihidalgo en jccm.es> >
Enviado: viernes, 2 de junio de 2017 12:28
Para: 'Jesús Para Fernández'; <mailto:r-help-es en r-project.org>
r-help-es en r-project.org
<mailto: <mailto:r-help-es en r-project.org> r-help-es en
r-project.org><https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Asunto: RE: [R-es] CV en R
No me había fijado en el código, te había he contestado teóricamente.
A ver, en ese código tienes varios problemas:
- No especificas los parámetros del modelo (para eso es la
validación cruzada). En RF tendrías que especificar el número de árboles, la
cantidad de puntos con los que acotar la regresión, etc. En SVM el tipo de
kernel que vas a usar, la sensibilidad? NO SE TRATA SÓLO de hacer modelos
con diferentes conjuntos de entrenamiento, sino de buscar los parámetros que
mejor ajustan los datos.
Te pongo un ejemplo: imagínate que tienes mucho ruido, en ese caso, en cada
punto de regresión, tendrás que tomar un número de puntos mayor (parámetro
"nodesize")
- Respecto a no guardar los modelos, es muy fácil con una lista.
Cada modelo que hagas, guárdalo en un lista, junto con los datos de
resultados que quieras (incluyendo los parámetros de especificación del
modelo)
Te recomiendo 2 cosas:
- Usa el paquete caret
- Lee este libro:
<https://link.springer.com/book/10.1007/978-1-4614-6849-3>
https://link.springer.com/book/10.1007/978-1-4614-6849-3
Con el libro matas varios pájaros de un tiro:
- Aprendes algo de teoría (poca), que siempre viene bien
- El autor es el creador del paquete caret
Si tienes tiempo, yo buscaría un curso del MIT que es muy bueno, aunque de
los duros, te lo tienes que programar casi todo desde 0, pero cuando acabas,
la teoría (con éste sí) la has machacado bastante bien, y sabes lo que hace
un SVM, un RF. Es
éste:<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11
56x>
https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs115
6x
<
<https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11
56x>
https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11
56x>
<
<https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11>
https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11
56x> Learning From Data (Introductory Machine Learning) | edX
<http://www.edx.org> www.edx.org < <http://www.edx.org>
http://www.edx.org>
Introductory Machine Learning course covering theory, algorithms and
applications. Our focus is on real understanding, not just "knowing."
Tiene un libro asociado que está muy bien también.
Si te da miedito, hay otro más suave, de los clásicos Hastie y Tibshirani:
<https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winte
r2016/about>
https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winter
2016/about
<
<https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winte
r2016/about>
https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winte
r2016/about> Statistical Learning | Stanford Lagunita
<http://lagunita.stanford.edu> lagunita.stanford.edu
StatLearning now self paced! The active course run for Statistical Learning
has ended, but the course is now available in a self paced mode. You are
welcome to join ...
Éstos también tienen 2 libros muy buenos. El resumido es en el que se basa
el curso anterior.
De: Jesús Para Fernández [mailto: <mailto:j.para.fernandez en hotmail.com>
j.para.fernandez en hotmail.com]
Enviado el: viernes, 02 de junio de 2017 12:04
Para: Isidro Hidalgo Arellano < <mailto:ihidalgo en jccm.es> ihidalgo
en jccm.es
<mailto: <mailto:ihidalgo en jccm.es> ihidalgo en jccm.es> >;
<mailto:r-help-es en r-project.org> r-help-es en r-project.org
<mailto:
<mailto:r-help-es en r-project.org> r-help-es en r-project.org>
Asunto: Re: [R-es] CV en R
Es que es justo ahi donde no se como hacerlo.
Es decir, dentro del bucle for hago las comprobaciones train test, y me da
que de media el mejor es randomForest, pero claro, no me estoy quedando con
el modelo, ya que no se va guardando....Entonces es cuando no se como seguir
para quedarme con ese modelo....
_____
De: Isidro Hidalgo Arellano < <mailto: <mailto:ihidalgo en jccm.es>
ihidalgo en jccm.es> <mailto:ihidalgo en jccm.es> ihidalgo en
jccm.es>
Enviado: viernes, 2 de junio de 2017 11:59
Para: 'Jesús Para Fernández'; <mailto: <mailto:r-help-es en
r-project.org>
r-help-es en r-project.org>
<mailto:r-help-es en r-project.org> r-help-es en r-project.org
Asunto: RE: [R-es] CV en R
No, no. Si construyes el modelo con todos los datos, explícame para qué te
ha servido la validación cruzada... ¿Sólo para saber si funciona mejor SVM o
RF con ese conjunto de datos? Eso es insuficiente.
Cuando construyes un modelo, lo haces entrenando con datos que el modelo NO
VE, ahí está la gracia...
Te tienes que quedar con el mejor modelo entrenado. Y después ver cómo te
funciona en la vida real, es decir, con nuevos datos que el modelo NO HA
VISTO.
Un saludo.
Isidro Hidalgo Arellano
Observatorio del Mercado de Trabajo
Consejería de Economía, Empresas y Empleo
< <http://www.castillalamancha.es/>
http://www.castillalamancha.es/>
<http://www.castillalamancha.es/> http://www.castillalamancha.es/
< <http://www.castillalamancha.es/>
http://www.castillalamancha.es/> Inicio
| Gobierno de Castilla-La Mancha
< <http://www.castillalamancha.es> http://www.castillalamancha.es>
<http://www.castillalamancha.es> www.castillalamancha.es
Web oficial del gobierno autonómico de Castilla-La Mancha con información
sobre actividad administrativa, economía, educación, sanidad, servicios
sociales, sede ...
-----Mensaje original-----
De: R-help-es [ <mailto: <mailto:r-help-es-bounces en r-project.org>
r-help-es-bounces en r-project.org>
mailto: <mailto:r-help-es-bounces en r-project.org>
r-help-es-bounces en r-project.org] En nombre de Jesús
Para Fernández
Enviado el: viernes, 02 de junio de 2017 11:48
Para: <mailto: <mailto:r-help-es en r-project.org> r-help-es en
r-project.org>
<mailto:r-help-es en r-project.org> r-help-es en
r-project.org<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Asunto: [R-es] CV en R
Buenas,
Estoy haciendo modelos y comparando cual es mejor. Para ello, uso CV de 10
folds.
Por ejemplo, hago la comparativa entre un svm y un randomForest para una
serie de datos, por ello hago:
midataset<-import.....
#datos es un dataframe de 1500 filas y 15 variables
for(i in 1:10){
numeros<-sample(1:1500,1500*0.7)
train<-datos[numeros,]
test<-datos[-numeros,]
#modeloRF
modelo.rf<-randomForest(respuesta~,train)
prediccion<-predict(modelo.rf,test)
fp<-table(prediccion,test$respuesta)[2,1]
fn<-table(prediccion,test$respuesta)[1,2]
error<-(fp+fn)/nrow(train.balanceado)
resultado<-rbind(resultado,data.frame(error=error,modelo="rf"))
#modelo SVM
modelo.svm<-svm(respuesta~,train)
prediccion<-predict(modelo.svm,test)
fp<-table(prediccion,test$respuesta)[2,1]
fn<-table(prediccion,test$respuesta)[1,2]
error<-(fp+fn)/nrow(train.balanceado)
resultado<-rbind(resultado,data.frame(error=error,modelo="svm"))
}
Mi pregunta es la siguiente. Si el modelo de RF es mejor, como me quedo con
el modelo final? Tengo que crear el modelo de nuevo, sin tener en cuenta el
train?
modelo.final<-randomForest(respuesta~.,datos)
Gracias!!!!
[[alternative HTML version deleted]]
_______________________________________________
R-help-es mailing
list<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<mailto: <mailto:R-help-es en r-project.org> R-help-es en
r-project.org>
<mailto:R-help-es en r-project.org> R-help-es en r-project.org
< <https://stat.ethz.ch/mailman/listinfo/r-help-es>
https://stat.ethz.ch/mailman/listinfo/r-help-es>
<https://stat.ethz.ch/mailman/listinfo/r-help-es>
https://stat.ethz.ch/mailman/listinfo/r-help-es
[[alternative HTML version deleted]]
_______________________________________________
R-help-es mailing list
<mailto:R-help-es en r-project.org> R-help-es en r-project.org
<https://stat.ethz.ch/mailman/listinfo/r-help-es>
https://stat.ethz.ch/mailman/listinfo/r-help-es
--
Saludos,
Carlos Ortega
<http://www.qualityexcellence.es> www.qualityexcellence.es
[[alternative HTML version deleted]]
_______________________________________________
R-help-es mailing list
R-help-es en r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
--
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Manuel Spínola, Ph.D.
Instituto Internacional en Conservación y Manejo de Vida Silvestre
Universidad Nacional
Apartado 1350-3000
Heredia
COSTA RICA
mspinola en una.cr
mspinola10 en gmail.com
Teléfono: (506) 8706 - 4662
Personal website: Lobito de río
Institutional website:
ICOMVIS<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
--
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Saludos,
Carlos Ortega
www.qualityexcellence.es<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
--
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Saludos,
Carlos Ortega
www.qualityexcellence.es<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
--
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
Saludos,
Carlos Ortega
www.qualityexcellence.es<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
<https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL:
<https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/582d9d6f/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: 613BA790493D470187A3EB8B587066D6.png
Type: image/png
Size: 166 bytes
Desc: 613BA790493D470187A3EB8B587066D6.png
URL:
<https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/582d9d6f/attachment-0004.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: E27FD165764E409BB9FE918CDD2F0C23.png
Type: image/png
Size: 166 bytes
Desc: E27FD165764E409BB9FE918CDD2F0C23.png
URL:
<https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/582d9d6f/attachment-0005.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: 700388F95E8E49F69A5754F275CE7E0B.png
Type: image/png
Size: 166 bytes
Desc: 700388F95E8E49F69A5754F275CE7E0B.png
URL:
<https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/582d9d6f/attachment-0006.png>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: D46B3A93C7B546ACAA41F88250A4A667.png
Type: image/png
Size: 159 bytes
Desc: D46B3A93C7B546ACAA41F88250A4A667.png
URL:
<https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/582d9d6f/attachment-0007.png>
Hemos hecho alguno en streaming, pero nos han dicho desde el MediaLab (el sitio donde celebramos las reuniones) que no tienen ahora gente que nos pueda ayudar para repetir esto en streaming, así que seguiremos con la opción del video... Bueno, no hace falta tampoco juntarse cada mes, pero seguro que por allá entre gente de empresas, universidades, etc. sí que podríais montar alguna reunión cada trimestre.. nosotros al principio éramos 6-7... El 4 de junio de 2017, 12:13, Jesús Para Fernández < j.para.fernandez en hotmail.com> escribió:> Sigo el grupo de Madrid, pero en diferido. Es posible empezar a seguir al > grupo en directo, es decir, mediante Skype o similar??? > > > Aquí en el país vasco no hay nigun grupo de R y creo que aunque lo > formaramos nunca llegaríamos a ser tan potentes como el de Madrid? > > > > Enviado desde Correo <https://go.microsoft.com/fwlink/?LinkId=550986> > para Windows 10 > > > > *De: *Carlos Ortega <cof en qualityexcellence.es> > *Enviado: *domingo, 4 de junio de 2017 12:11 > *Para: *Jesús Para Fernández <j.para.fernandez en hotmail.com> > *CC: *Isidro Hidalgo Arellano <ihidalgo en jccm.es>; Manuel Spínola > <mspinola10 en gmail.com>; Lista R <r-help-es en r-project.org> > *Asunto: *Re: [R-es] CV en R > > > > H2O va bien (muy bien) tanto en un ordenador sobremesa/portátil y sobre un > clúster. En uno de sobremesa si tienes buena RAM y muchos cores, mejor. Y > no tienes porqué usar Spark si no necesitas una solución tiempo real o > "near real-time". H2O tiene otra solución para interaccionar con Spark > (Sparkling Water). > > > > Incluso sobre un clúster, puedes usar "sparklyr" y "rsparklyng" tanto para > interaccionar con Spark sin salir de "R" (usando dplyr) y para > interaccionar con H2O, igualmente sin salir de "R". Mira las páginas de > RStudio que tratan estas dos soluciones o la presentación que hizo en el > Grupo de Usuarios de R de Madrid de José Luis Cañadas que contó las dos > alternativas. > > > > > > > > El 4 de junio de 2017, 12:04, Jesús Para Fernández < > j.para.fernandez en hotmail.com> escribió: > > H20 con grandes bases de datos y R funciona bien? O es necesario tirar de > spark y demás??? > > > > *De:* Carlos Ortega <cof en qualityexcellence.es> > *Enviado:* domingo, 4 de junio de 2017 12:02 > *Para:* Jesús Para Fernández > *Cc:* Isidro Hidalgo Arellano; Manuel Spínola; Lista R > *Asunto:* Re: [R-es] CV en R > > > > Si nos dices el tipo de problema que estás intentando solucionar y el > tamaño del dataset podemos recomendarte algo más. > > En tu pseudo-código mezclas algoritmos supervisados y no-supervisados. > > Además de ranger, daría alguna oportunidad a "gbm" o como no a "xgboost". > Y éstos los probaría dentro de H2O. > > > > Saludos, > > Carlos Ortega > > www.qualityexcellence.es > > QualityExcellence <http://www.qualityexcellence.es/> > > www.qualityexcellence.es > > QUALITY EXCELLENCE, consultores en calidad, procesos y mejora continua > > > > > > > > El 4 de junio de 2017, 9:50, Jesús Para Fernández < > j.para.fernandez en hotmail.com> escribió: > > El paquete ranger la verdad es que es la bomba. Acabo de probarlo y va muy > muy bien. Mucho más rápido que randomForest!!!! > > Gracias Carlos. Algún "secretillo" más?? > > > > *De:* Carlos Ortega <cof en qualityexcellence.es> > *Enviado:* sábado, 3 de junio de 2017 21:52 > *Para:* Jesús Para Fernández > *Cc:* Isidro Hidalgo Arellano; Manuel Spínola; Lista R > *Asunto:* Re: [R-es] CV en R > > > > Hola, > > > > Puedes ver aquí un ejemplo de cómo comparar varios modelos usando "caret". > > > > https://stackoverflow.com/questions/14800021/statistics- > of-prediction-for-multiple-models-with-caret > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *Statistics of prediction for multiple models with caret* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *stackoverflow.com* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > I am trying to get statistics of prediction for various training models > with the package caret. Below is an example that illustrates my need: > library(caret) # Training: # ... Get X and Y for trai... > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > O mejor en el propio manual de "caret", en esta sección: > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > *https://topepo.github.io/caret/model-training-and-tuning.html#exploring-and-comparing-resampling-distributions* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *The caret Package - GitHub Pages* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *topepo.github.io* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > 5.1 Model Training and Parameter Tuning. The caret package has several > functions that attempt to streamline the model building and evaluation > process. > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Y como recomendación te sugiero que usen "ranger" en vez de > "randomForest", no solo por velocidad, si no también por las mejoras y > ampliaciones de funcionalidad que incorpora. > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Saludos, > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Carlos Ortega > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *www.qualityexcellence.es* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > El 2 de junio de 2017, 19:58, Jesús Para Fernández < > *j.para.fernandez en hotmail.com*> escribió: > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Para el tema de los árboles necesarios se ve muy bien haciendo > plot(modelo) y se ve en que punto se han estabilizado o si necesitas más > árboles. > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > *De: Isidro Hidalgo Arellano <ihidalgo en jccm.es> Enviado: viernes, 2 de > junio de 2017 15:01:37 Para: 'Jesús Para Fernández'; 'Manuel Spínola' Cc: > 'Carlos Ortega'; 'Lista R' > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>* > > > *Asunto:* RE: [R-es] CV en R > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > No, llega un momento en el que más árboles no te supone mejoría, e incluso > funciona peor. Que funcione peor lo atribuyo al ruido, porque en teoría no > tiene mucho sentido, la verdad... Pero no he probado a coger más árboles de > los "necesarios". Lo probaré? > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Un saludo > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > > *De: Jesús Para Fernández [mailto:j.para.fernandez en hotmail.com] Enviado > el: viernes, 02 de junio de 2017 14:54 Para: Isidro Hidalgo Arellano > <ihidalgo en jccm.es>; 'Manuel Spínola' <mspinola10 en gmail.com> CC: 'Carlos > Ortega' <cof en qualityexcellence.es>; 'Lista R' <r-help-es en r-project.org> > Asunto: Re: [R-es] CV en R > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>* > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Si, de eso soy consciente. Normalmente cuantos más arboles cojas es mejor > no? el problema es que se incrementa el tiempo de computación... > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > > *De: Isidro Hidalgo Arellano <ihidalgo en jccm.es> Enviado: viernes, 2 de > junio de 2017 14:50 Para: 'Manuel Spínola' Cc: 'Jesús Para Fernández'; > 'Carlos Ortega'; 'Lista R' Asunto: RE: [R-es] CV en R > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>* > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > El algoritmo en sí no, pero si quieres ajustar los parámetros (número de > árboles, tamaño del nodo, etc.) hay que hacerlo. > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > En la práctica te puedo asegurar que hay diferencia entre usar 500 árboles > o 100, igual que el tamaño del nodo que cojas; afinar los parámetros puede > suponer ajustar bastante los resultados. > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Un saludo > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Isidro Hidalgo Arellano > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Observatorio del Mercado de Trabajo > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Consejería de Economía, Empresas y Empleo > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *http://www.castillalamancha.es/* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *Inicio | Gobierno de Castilla-La Mancha* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *www.castillalamancha.es* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Web oficial del gobierno autonómico de Castilla-La Mancha con información > sobre actividad administrativa, economía, educación, sanidad, servicios > sociales, sede ... > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > > *De: Manuel Spínola [mailto:mspinola10 en gmail.com] Enviado el: viernes, 02 > de junio de 2017 14:42 Para: Isidro Hidalgo Arellano <ihidalgo en jccm.es> CC: > Jesús Para Fernández <j.para.fernandez en hotmail.com>; Carlos Ortega > <cof en qualityexcellence.es>; Lista R <r-help-es en r-project.org> Asunto: Re: > [R-es] CV en R > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>* > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Hola, > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > No soy un experto en estas técnicas, pero hasta donde yo se, el algoritmo > Random Forest no requiere cross validation. > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Lo dice el mismo Leo Breiman que creo ha sido uno de los investigadores > que más ha contribuido al desarrollo de Random Forest ( > *https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm*) > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *Random forests - classification description* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > *www.stat.berkeley.edu* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Contents. Introduction Overview Features of random forests Remarks How > Random Forests work The oob error estimate Variable importance Gini > importance > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Manuel > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > El 2 de junio de 2017, 6:35, Isidro Hidalgo Arellano <*ihidalgo en jccm.es*> > escribió: > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Una vez que tienes la técnica y los parámetros óptimos resultantes de la > validación cruzada, ya tienes el modelo que necesitas, NO tienes que hacer > nada más. Si vuelves a modelar con todos los datos todo el trabajo de > validación que has hecho lo envías a hacer gárgaras. Estarías construyendo > un modelo con sobreajuste. > > > > Para quedarte tranquilo, haz la prueba, coge el modelo resultante de la > validación y ve aplicándolo a los nuevos datos. Haz lo mismo con el que > obtengas de ése paso final que NO debes dar, y que no te he puesto en mi > código corregido, a saber: > > modelo.final<-randomForest(respuesta~.,datos) > > > > Cuando los aplicas con los nuevos datos, ¿cuál funciona mejor? > > > > Un saludo > > > > > > Isidro Hidalgo Arellano > > Observatorio del Mercado de Trabajo > > Consejería de Economía, Empresas y Empleo > > *http://www.castillalamancha.es/* > > > > > > > > De: Jesús Para Fernández [mailto:*j.para.fernandez en hotmail.com*] > Enviado el: viernes, 02 de junio de 2017 14:21 > Para: Carlos Ortega <*cof en qualityexcellence.es*> > CC: Lista R <*r-help-es en r-project.org*>; Isidro Hidalgo Arellano > <*ihidalgo en jccm.es*> > Asunto: Re: [R-es] CV en R > > > > Pero creo que hay un concepto que no termina de aclararse. > > > > Creo que lo importante es quedarse con el modelo bueno, por ejemplo, > imaginemos que queremos probar los siguientes algoritmos: RF, SVM, KNN, > LDA.... > > > > Entonces hacemos lo siguiente: > > > > Probamos con todos ellos, para lo que se hacen particiones: > > > > Imaginemos que tengo un datasheet llamado datos, perfectamnte balanceado, > sin datos faltantes, ni ruido ni nada asi. Entonces: > > > > for(i in 1:10){ > > train #saco el train de los datos > > test #saco el test de los datos > > pruebo RF, con diferentes configuaraciones (bucles j,k) > > pruebo SVM, con diferentes configuaraciones (bucles j,k) > > pruebo KNN > > pruebo LDA > > > > guardo resultados > > > > } > > > > y sobre el que mejor de, entonces ya creo el modelo definitivo, con el > conjunto de datos global. Si fuera un randomForest > > > > randomForest(respuesta~.,ntree=500,nodesize=4,datos) > > > > Y ese es mi modelo para los proximos daots que vengan yq ue no han formado > parte del datasheet datos > > > > _____ > > De: Carlos Ortega < <mailto:*cof en qualityexcellence.es*> > *cof en qualityexcellence.es*> > Enviado: viernes, 2 de junio de 2017 13:11 > Para: Jesús Para Fernández > Cc: Lista R; Isidro Hidalgo Arellano > Asunto: Re: [R-es] CV en R > > > > Hola, > > > > Eso es justamente lo que hace "caret" de una manera muy sencilla y sin que > tú te tengas que preocupar de quedarte con el mejor bucket (del CV) o con > la mejor combinación en tu "grid search". > > > > Te recomiendo que uses "caret" para esto.... > > Puedes incluso evaluar los dos algoritmos "RF" y "svm" a la vez y conocer > realmente el nivel de precisión que ofrecen ambos. > > Y claro, inicialmente puedes elegir el conjunto de entrenamiento sobre el > que haces el CV dejando el resto "test" para validar el nivel de > predicción. > > > > Gracias, > > Carlos Ortega > > <*http://www.qualityexcellence.es*> *www.qualityexcellence.es* > > > <*http://www.qualityexcellence.es/*> QualityExcellence > > <*http://www.qualityexcellence.es*> *www.qualityexcellence.es* > > QUALITY EXCELLENCE, consultores en calidad, procesos y mejora continua > > > > > > El 2 de junio de 2017, 13:06, Isidro Hidalgo Arellano < > <mailto:*ihidalgo en jccm.es*> *ihidalgo en jccm.es*> escribió: > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > No me has parecido para nada borde. > > > > Ok. Centrémonos en RF y bajemos el nº de parámetros a 2: ntree y nodesize. > > Te haces una parrilla de ntree: 100, 200, 300, 400, 500 > > Otra de nodesize: 3, 6, 10 > > Con esto tienes 15 combinaciones. > > Vamos al código. Simplemente crea una lista donde metes los resultados (y > tienes que añadir los parámetros, que has omitido) > > Después graficas usando un mapa de calor para ver qué combinación de > parámetros te da el mejor resultado (en abscisas ntree y en ordenadas > nodesize). Una vez que veas los intervalos de parámetros que mejor se > comportan, afinas el resultado con otra validación cruzada: > > > > for(i in 1:15){ > > > > numeros<-sample(1:1500,1500*0.7) > > > > train<-datos[numeros,] > > > > test<-datos[-numeros,] > > > > > > #modeloRF > > > > resultadoRF <- list() > > > > modelo.rf<-randomForest(respuesta~,train) > > > > prediccion<-predict(modelo.rf,test) > > > > fp<-table(prediccion,test$respuesta)[2,1] > > fn<-table(prediccion,test$respuesta)[1,2] > > error<-(fp+fn)/nrow(train.balanceado) > > resultadoRF[[i]]<-rbind(resultado,data.frame(error=error,modelo="rf")) > > > > #modelo SVM > > > > resultadoSVM <- list() > > > > modelo.svm<-svm(respuesta~,train) > > > > prediccion<-predict(modelo.svm,test) > > > > fp<-table(prediccion,test$respuesta)[2,1] > > fn<-table(prediccion,test$respuesta)[1,2] > > error<-(fp+fn)/nrow(train.balanceado) > > resultadoSVM[[i]]<-rbind(resultado,data.frame(error=error,modelo="svm")) > > > > } > > > > Un saludo > > > > Isidro Hidalgo Arellano > > Observatorio del Mercado de Trabajo > > Consejería de Economía, Empresas y Empleo > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > <*http://www.castillalamancha.es/*> *http://www.castillalamancha.es/* > > > > > > > > De: Jesús Para Fernández [mailto: <mailto:*j.para.fernandez en hotmail.com*> > *j.para.fernandez en hotmail.com*] > Enviado el: viernes, 02 de junio de 2017 12:50 > Para: Isidro Hidalgo Arellano < <mailto:*ihidalgo en jccm.es*> > *ihidalgo en jccm.es*>; > <mailto:*r-help-es en r-project.org*> *r-help-es en r-project.org* > Asunto: Re: [R-es] CV en R > > > > Buenas, > > > > Puse los modelos lo mas simplificados, para centrar el tiro en el tema que > me preocupa. > > > > Es una pena no poder hablar cara a cara, porque por email puedo sonar algo > borde, pero no es así, al contrario estoy enormemente agradecido por tu > ayuda, pero le veo un problema. > > Me dices que use un list para ir guardando el modelo, pero tal y como he > propuesto en el bucle for, el modelo se crea 10 veces, es decir, que > entiendo que si es un randomForest, tendria que entonces hacer una > combinacion de esos 10 modelos con la funcion combine de RF para unir esos > modelos, verdad?? Porque sino estaria en el mismo problema, generando un > modelo generalista de una simple submuestra de los datos. > > > > Gracias por todo!!! > > Jesús > > > > _____ > > De: Isidro Hidalgo Arellano < <mailto:*ihidalgo en jccm.es*> > *ihidalgo en jccm.es* > <mailto: <mailto:*ihidalgo en jccm.es*> *ihidalgo en jccm.es*> > > Enviado: viernes, 2 de junio de 2017 12:28 > Para: 'Jesús Para Fernández'; <mailto:*r-help-es en r-project.org*> > *r-help-es en r-project.org* > <mailto: <mailto:*r-help-es en r-project.org*> * r-help-es en r-project.org*> > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Asunto: RE: [R-es] CV en R > > > > > No me había fijado en el código, te había he contestado teóricamente. > > A ver, en ese código tienes varios problemas: > > - No especificas los parámetros del modelo (para eso es la > validación cruzada). En RF tendrías que especificar el número de árboles, > la > cantidad de puntos con los que acotar la regresión, etc. En SVM el tipo de > kernel que vas a usar, la sensibilidad? NO SE TRATA SÓLO de hacer modelos > con diferentes conjuntos de entrenamiento, sino de buscar los parámetros > que > mejor ajustan los datos. > > Te pongo un ejemplo: imagínate que tienes mucho ruido, en ese caso, en cada > punto de regresión, tendrás que tomar un número de puntos mayor (parámetro > "nodesize") > > - Respecto a no guardar los modelos, es muy fácil con una lista. > Cada modelo que hagas, guárdalo en un lista, junto con los datos de > resultados que quieras (incluyendo los parámetros de especificación del > modelo) > > Te recomiendo 2 cosas: > > - Usa el paquete caret > > - Lee este libro: > <*https://link.springer.com/book/10.1007/978-1-4614-6849-3*> > *https://link.springer.com/book/10.1007/978-1-4614-6849-3* > > Con el libro matas varios pájaros de un tiro: > > - Aprendes algo de teoría (poca), que siempre viene bien > > - El autor es el creador del paquete caret > > Si tienes tiempo, yo buscaría un curso del MIT que es muy bueno, aunque de > los duros, te lo tienes que programar casi todo desde 0, pero cuando > acabas, > la teoría (con éste sí) la has machacado bastante bien, y sabes lo que hace > un SVM, un RF. Es éste: > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > < > *https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11 > 56x*> > > *https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs115 > 6x* > > > > > < > < > *https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11 > 56x*> > > *https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11 > 56x*> > > > < > < > *https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11* > > > > *https://www.edx.org/course/learning-data-introductory-machine-caltechx-cs11 > 56x*> Learning From Data (Introductory Machine Learning) | edX > > <*http://www.edx.org*> *www.edx.org* < <*http://www.edx.org*> > *http://www.edx.org*> > > Introductory Machine Learning course covering theory, algorithms and > applications. Our focus is on real understanding, not just "knowing." > > > > Tiene un libro asociado que está muy bien también. > > Si te da miedito, hay otro más suave, de los clásicos Hastie y Tibshirani: > > < > *https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winte > r2016/about*> > > *https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winter > 2016/about* > > > > < > < > *https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winte > r2016/about*> > > *https://lagunita.stanford.edu/courses/HumanitiesSciences/StatLearning/Winte > r2016/about*> Statistical Learning | Stanford Lagunita > > <*http://lagunita.stanford.edu*> *lagunita.stanford.edu* > > StatLearning now self paced! The active course run for Statistical Learning > has ended, but the course is now available in a self paced mode. You are > welcome to join ... > > > > Éstos también tienen 2 libros muy buenos. El resumido es en el que se basa > el curso anterior. > > > > De: Jesús Para Fernández [mailto: <mailto:*j.para.fernandez en hotmail.com*> > *j.para.fernandez en hotmail.com*] > Enviado el: viernes, 02 de junio de 2017 12:04 > Para: Isidro Hidalgo Arellano < <mailto:*ihidalgo en jccm.es*> > *ihidalgo en jccm.es* > <mailto: <mailto:*ihidalgo en jccm.es*> *ihidalgo en jccm.es*> >; > <mailto:*r-help-es en r-project.org*> *r-help-es en r-project.org* <mailto: > <mailto:*r-help-es en r-project.org*> *r-help-es en r-project.org*> > Asunto: Re: [R-es] CV en R > > > > Es que es justo ahi donde no se como hacerlo. > > Es decir, dentro del bucle for hago las comprobaciones train test, y me da > que de media el mejor es randomForest, pero claro, no me estoy quedando con > el modelo, ya que no se va guardando....Entonces es cuando no se como > seguir > para quedarme con ese modelo.... > > > > > > > > > > _____ > > De: Isidro Hidalgo Arellano < <mailto: <mailto:*ihidalgo en jccm.es*> > *ihidalgo en jccm.es*> <mailto:*ihidalgo en jccm.es*> *ihidalgo en jccm.es*> > Enviado: viernes, 2 de junio de 2017 11:59 > Para: 'Jesús Para Fernández'; <mailto: <mailto:*r-help-es en r-project.org*> > *r-help-es en r-project.org*> > <mailto:*r-help-es en r-project.org*> *r-help-es en r-project.org* > Asunto: RE: [R-es] CV en R > > > > No, no. Si construyes el modelo con todos los datos, explícame para qué te > ha servido la validación cruzada... ¿Sólo para saber si funciona mejor SVM > o > RF con ese conjunto de datos? Eso es insuficiente. > Cuando construyes un modelo, lo haces entrenando con datos que el modelo NO > VE, ahí está la gracia... > Te tienes que quedar con el mejor modelo entrenado. Y después ver cómo te > funciona en la vida real, es decir, con nuevos datos que el modelo NO HA > VISTO. > > Un saludo. > > > Isidro Hidalgo Arellano > Observatorio del Mercado de Trabajo > Consejería de Economía, Empresas y Empleo > < <*http://www.castillalamancha.es/*> *http://www.castillalamancha.es/*> > <*http://www.castillalamancha.es/*> *http://www.castillalamancha.es/* > > > < <*http://www.castillalamancha.es/*> *http://www.castillalamancha.es/*> > Inicio > | Gobierno de Castilla-La Mancha > > < <*http://www.castillalamancha.es*> *http://www.castillalamancha.es*> > <*http://www.castillalamancha.es*> *www.castillalamancha.es* > > Web oficial del gobierno autonómico de Castilla-La Mancha con información > sobre actividad administrativa, economía, educación, sanidad, servicios > sociales, sede ... > > > > > > > -----Mensaje original----- > De: R-help-es [ <mailto: <mailto:*r-help-es-bounces en r-project.org*> > *r-help-es-bounces en r-project.org*> > mailto: <mailto:*r-help-es-bounces en r-project.org*> > *r-help-es-bounces en r-project.org*] En nombre de Jesús > Para Fernández > Enviado el: viernes, 02 de junio de 2017 11:48 > Para: <mailto: <mailto:*r-help-es en r-project.org*> > *r-help-es en r-project.org*> > <mailto:*r-help-es en r-project.org*> *r-help-es en r-project.org* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > Asunto: [R-es] CV en R > > Buenas, > > > Estoy haciendo modelos y comparando cual es mejor. Para ello, uso CV de 10 > folds. > > > Por ejemplo, hago la comparativa entre un svm y un randomForest para una > serie de datos, por ello hago: > > > midataset<-import..... > > > #datos es un dataframe de 1500 filas y 15 variables > > > for(i in 1:10){ > > numeros<-sample(1:1500,1500*0.7) > > train<-datos[numeros,] > > test<-datos[-numeros,] > > > #modeloRF > > modelo.rf<-randomForest(respuesta~,train) > > prediccion<-predict(modelo.rf,test) > > fp<-table(prediccion,test$respuesta)[2,1] > fn<-table(prediccion,test$respuesta)[1,2] > error<-(fp+fn)/nrow(train.balanceado) > resultado<-rbind(resultado,data.frame(error=error,modelo="rf")) > > #modelo SVM > > > modelo.svm<-svm(respuesta~,train) > > prediccion<-predict(modelo.svm,test) > > fp<-table(prediccion,test$respuesta)[2,1] > fn<-table(prediccion,test$respuesta)[1,2] > error<-(fp+fn)/nrow(train.balanceado) > resultado<-rbind(resultado,data.frame(error=error,modelo="svm")) > > } > > > Mi pregunta es la siguiente. Si el modelo de RF es mejor, como me quedo con > el modelo final? Tengo que crear el modelo de nuevo, sin tener en cuenta el > train? > > > modelo.final<-randomForest(respuesta~.,datos) > > > Gracias!!!! > > > > > [[alternative HTML version deleted]] > > _______________________________________________ > R-help-es mailing list > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > <mailto: <mailto:*R-help-es en r-project.org*> *R-help-es en r-project.org*> > <mailto:*R-help-es en r-project.org*> *R-help-es en r-project.org* > < <*https://stat.ethz.ch/mailman/listinfo/r-help-es*> > *https://stat.ethz.ch/mailman/listinfo/r-help-es*> > > <*https://stat.ethz.ch/mailman/listinfo/r-help-es*> > *https://stat.ethz.ch/mailman/listinfo/r-help-es* > > > [[alternative HTML version deleted]] > > > _______________________________________________ > R-help-es mailing list > <mailto:*R-help-es en r-project.org*> *R-help-es en r-project.org* > <*https://stat.ethz.ch/mailman/listinfo/r-help-es*> > *https://stat.ethz.ch/mailman/listinfo/r-help-es* > > > > > > > > -- > > Saludos, > Carlos Ortega > <*http://www.qualityexcellence.es*> *www.qualityexcellence.es* > > > [[alternative HTML version deleted]] > > > _______________________________________________ > R-help-es mailing list > *R-help-es en r-project.org* > *https://stat.ethz.ch/mailman/listinfo/r-help-es* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > -- > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > > > > > > > > *Manuel Spínola, Ph.D. Instituto Internacional en Conservación y Manejo de > Vida Silvestre Universidad Nacional Apartado 1350-3000 Heredia COSTA RICA > mspinola en una.cr mspinola10 en gmail.com Teléfono: (506) 8706 - 4662 Personal > website: Lobito de río Institutional website: ICOMVIS > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret>* > > > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > -- > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Saludos, > Carlos Ortega > *www.qualityexcellence.es* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > -- > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Saludos, > Carlos Ortega > *www.qualityexcellence.es* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > -- > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > Saludos, > Carlos Ortega > *www.qualityexcellence.es* > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> > > > <https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret> >-- Saludos, Carlos Ortega www.qualityexcellence.es ------------ próxima parte ------------ Se ha borrado un adjunto en formato HTML... URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/2639389b/attachment-0001.html> ------------ próxima parte ------------ A non-text attachment was scrubbed... Name: 613BA790493D470187A3EB8B587066D6.png Type: image/png Size: 166 bytes Desc: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/2639389b/attachment-0004.png> ------------ próxima parte ------------ A non-text attachment was scrubbed... Name: E27FD165764E409BB9FE918CDD2F0C23.png Type: image/png Size: 166 bytes Desc: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/2639389b/attachment-0005.png> ------------ próxima parte ------------ A non-text attachment was scrubbed... Name: D46B3A93C7B546ACAA41F88250A4A667.png Type: image/png Size: 159 bytes Desc: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/2639389b/attachment-0006.png> ------------ próxima parte ------------ A non-text attachment was scrubbed... Name: 700388F95E8E49F69A5754F275CE7E0B.png Type: image/png Size: 166 bytes Desc: no disponible URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20170604/2639389b/attachment-0007.png>