similar to: CV en R

Buenas, Puse los modelos lo mas simplificados, para centrar el tiro en el tema que me preocupa. Es una pena no poder hablar cara a cara, porque por email puedo sonar algo borde, pero no es así, al contrario estoy enormemente agradecido por tu ayuda, pero le veo un problema. Me dices que use un list para ir guardando el modelo, pero tal y como he propuesto en el bucle for, el modelo se crea 10

Es que es justo ahi donde no se como hacerlo. Es decir, dentro del bucle for hago las comprobaciones train test, y me da que de media el mejor es randomForest, pero claro, no me estoy quedando con el modelo, ya que no se va guardando....Entonces es cuando no se como seguir para quedarme con ese modelo.... ________________________________ De: Isidro Hidalgo Arellano <ihidalgo en

Hola, Eso es justamente lo que hace "caret" de una manera muy sencilla y sin que tú te tengas que preocupar de quedarte con el mejor bucket (del CV) o con la mejor combinación en tu "grid search". Te recomiendo que uses "caret" para esto.... Puedes incluso evaluar los dos algoritmos "RF" y "svm" a la vez y conocer realmente el nivel de precisión

Una vez que tienes la técnica y los parámetros óptimos resultantes de la validación cruzada, ya tienes el modelo que necesitas, NO tienes que hacer nada más. Si vuelves a modelar con todos los datos todo el trabajo de validación que has hecho lo envías a hacer gárgaras. Estarías construyendo un modelo con sobreajuste. Para quedarte tranquilo, haz la prueba, coge el modelo resultante de la

El algoritmo en sí no, pero si quieres ajustar los parámetros (número de árboles, tamaño del nodo, etc.) hay que hacerlo. En la práctica te puedo asegurar que hay diferencia entre usar 500 árboles o 100, igual que el tamaño del nodo que cojas; afinar los parámetros puede suponer ajustar bastante los resultados. Un saludo Isidro Hidalgo Arellano Observatorio del Mercado de Trabajo

No, llega un momento en el que más árboles no te supone mejoría, e incluso funciona peor. Que funcione peor lo atribuyo al ruido, porque en teoría no tiene mucho sentido, la verdad... Pero no he probado a coger más árboles de los "necesarios". Lo probaré… Un saludo De: Jesús Para Fernández [mailto:j.para.fernandez en hotmail.com] Enviado el: viernes, 02 de junio de 2017 14:54

?Hola, Puedes ver aquí un ejemplo de cómo comparar varios modelos usando "caret". https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret O mejor en el propio manual de "caret", en esta sección: https://topepo.github.io/caret/model-training-and-tuning.html#exploring-and-comparing-resampling-distributions Y como recomendación te

Si nos dices el tipo de problema que estás intentando solucionar y el tamaño del dataset podemos recomendarte algo más. En tu pseudo-código mezclas algoritmos supervisados y no-supervisados. Además de ranger, daría alguna oportunidad a "gbm" o como no a "xgboost". Y éstos los probaría dentro de H2O. Saludos, Carlos Ortega www.qualityexcellence.es El 4 de junio de 2017,

H2O va bien (muy bien) tanto en un ordenador sobremesa/portátil y sobre un clúster. En uno de sobremesa si tienes buena RAM y muchos cores, mejor. Y no tienes porqué usar Spark si no necesitas una solución tiempo real o "near real-time". H2O tiene otra solución para interaccionar con Spark (Sparkling Water). Incluso sobre un clúster, puedes usar "sparklyr" y

Hola de nuevo. Se me olvidaba la principal razón para utilizar gbm.step del paquete dismo. Como sabéis, los boosted si sobreajustan (a diferencia de los random forest o cualquier otro bootstrap) pero gbm.step hace validación cruzada para determinar el nº óptimo de árboles y evitarlo. Es fundamental. La opción que me queda, Carlos, es hacerlo con gbm, pero muchas veces, y usar el

> > Estimados muy buenas quería hacerles unas consulta: Estoy trabajando en mi tesis sobre mejoramiento animal y mi objetivo es evaluar la habilidad predictiva de modelos estadísticos mediante validación cruzada. Pero antes la intención es dividir mi base de datos en 3 partes y quisiera que todos los efectos incluidos en el estudio y cada uno de sus niveles, estén lo más equitativamente

Enun ejemplo real estoy viendo como el intervalo de confianza usando lo que me comentas me ha salido mucho más pequeño de lo que la realidad luego refleja. ¿Cómo es esto posible?? Es decir, veo que para valores de 2,70 obtengo una respuesta de entre 2,69 y 2,90 y sin embargo luego en la realidad tengo valores entre 2,20 y 3 Gracias Jesús From: jorgeivanvelez en gmail.com Date: Thu, 21 Apr

Buenas, una pregunta. Si yo estoy calculando un modelo lineal, el caso más simple, 1 variable respuesta y una variable explicativa y creo un modelo, me da un R2 del 80% y quiero ver como es esa relacion entre las variables, para calcular el error de predicción del modelo, basta con ver el intervalo de confianza del modelo e irme a los extremos? Por si no me he expresado bien, un ejemplo tonto:

Gracias Carlos. Hasta donde yo entiendo si las hay: El argumento family puede ser: "gaussian" (for minimizing squared error); por lo que tiene que ser numérica "bernoulli" (logistic regression for 0-1 out-comes); binaria por narices "poisson" (count outcomes; requires the response to be a positive integer); numérica también, pues. La única podría ser

Hola compañeros de la lista. Estoy aprendiendo a usar el paquete "rsm" para superficies de respuesta. Siguiendo este ejemplo todo va bien, hasta que trato de obtener el valor máximo predicho para la variable de respuesta en los valores de x1 y x2 estimados. ------------------------------------------------------------- library("rsm") ChemReact CR <- coded.data(ChemReact,

Hola Javier, Si, cuando hablo de valor observado me refiero al valor real en campo y el predicho al que estiman los modelos. Disculpa, que no lo detallase así desde el principio. En mi caso trabajo con dos diferentes: Zero inflated y Binomial Negativo y me gustaría comprobar que diferencia (distancia) existe entre cada uno de ellos y la realidad. Estoy trabajando con los siguientes paquetes:

No no, eso lo he sacaod, es decir, tengo la matriz de confusión para las OK/NOK, lo que no entiendo es como extraer las conclusiones sobre el modelo, de cara a como afectan las variables. He seguido dos estrategias: 1-Crear arboles de clasificacion con las variables más importantes del random Forest, pero el modelo se empobrece bastante. 2- Sacar los partialPlot, para ver la influencia de cada

Hola, ¿Alguien sabe cómo lidia la función aov con diseño no balanceado? ¿Utiliza el las funciones de suma de cuadrados type II ? Gracias!! [[alternative HTML version deleted]]

Mi matriz de datos inicial estaba muy desbalanceada (5% de la clase minoritaria), por lo que he creado con el algoritmo SMOTE un dataset balanceado con el que he creado el modelo, y luego sobre ese modelo he creado la matriz de confusión con los datos originales. Respecto a lo que me comentas, Carlos, creo que además de todo lo que comentas, que está bien, en micaso es necesario también saber no

No me vale, porque no es un problema de columnas, es de filas. Cuando importo el csv, como tiene cada columna segun la fila o numeros o texto, R convierte la columna automaticametne en factor. He probado a convertir las columnas a numeric, pero tampoco me vale, ya que transforma el texto a numeros.... ¿Alguna alternativa? estoy pensando ne poner skip y ne el skip meter las letras del