search for: midatasets

Buenas, Estoy haciendo modelos y comparando cual es mejor. Para ello, uso CV de 10 folds. Por ejemplo, hago la comparativa entre un svm y un randomForest para una serie de datos, por ello hago: midataset<-import..... #datos es un dataframe de 1500 filas y 15 variables for(i in 1:10){ numeros<-sample(1:1500,1500*0.7) train<-datos[numeros,] test<-datos[-numeros,] #modeloRF

...ounts, so differing behaviour on the hot/cold samples should be observed. Performance will be evaluated using "test-suite" again, though with one addition. To ensure that the produced code is not over-specialised to the training profiling data an additional set of data will be used. MiDatasets (http://ctuning.org/wiki/index.php/CTools:CBench:Downloads) provides alternatives inputs for the MiBench suite, so that will be used to test this. The next large chunk of work will be to make use of the exisiting path profiling code (PathProfiling.cpp). Superblock Formation will be done via T...

Es que es justo ahi donde no se como hacerlo. Es decir, dentro del bucle for hago las comprobaciones train test, y me da que de media el mejor es randomForest, pero claro, no me estoy quedando con el modelo, ya que no se va guardando....Entonces es cuando no se como seguir para quedarme con ese modelo.... ________________________________ De: Isidro Hidalgo Arellano <ihidalgo en

Buenas, Puse los modelos lo mas simplificados, para centrar el tiro en el tema que me preocupa. Es una pena no poder hablar cara a cara, porque por email puedo sonar algo borde, pero no es así, al contrario estoy enormemente agradecido por tu ayuda, pero le veo un problema. Me dices que use un list para ir guardando el modelo, pero tal y como he propuesto en el bucle for, el modelo se crea 10

Hola, Eso es justamente lo que hace "caret" de una manera muy sencilla y sin que tú te tengas que preocupar de quedarte con el mejor bucket (del CV) o con la mejor combinación en tu "grid search". Te recomiendo que uses "caret" para esto.... Puedes incluso evaluar los dos algoritmos "RF" y "svm" a la vez y conocer realmente el nivel de precisión

Una vez que tienes la técnica y los parámetros óptimos resultantes de la validación cruzada, ya tienes el modelo que necesitas, NO tienes que hacer nada más. Si vuelves a modelar con todos los datos todo el trabajo de validación que has hecho lo envías a hacer gárgaras. Estarías construyendo un modelo con sobreajuste. Para quedarte tranquilo, haz la prueba, coge el modelo resultante de la

El algoritmo en sí no, pero si quieres ajustar los parámetros (número de árboles, tamaño del nodo, etc.) hay que hacerlo. En la práctica te puedo asegurar que hay diferencia entre usar 500 árboles o 100, igual que el tamaño del nodo que cojas; afinar los parámetros puede suponer ajustar bastante los resultados. Un saludo Isidro Hidalgo Arellano Observatorio del Mercado de Trabajo

No, llega un momento en el que más árboles no te supone mejoría, e incluso funciona peor. Que funcione peor lo atribuyo al ruido, porque en teoría no tiene mucho sentido, la verdad... Pero no he probado a coger más árboles de los "necesarios". Lo probaré… Un saludo De: Jesús Para Fernández [mailto:j.para.fernandez en hotmail.com] Enviado el: viernes, 02 de junio de 2017 14:54

?Hola, Puedes ver aquí un ejemplo de cómo comparar varios modelos usando "caret". https://stackoverflow.com/questions/14800021/statistics-of-prediction-for-multiple-models-with-caret O mejor en el propio manual de "caret", en esta sección: https://topepo.github.io/caret/model-training-and-tuning.html#exploring-and-comparing-resampling-distributions Y como recomendación te

Si nos dices el tipo de problema que estás intentando solucionar y el tamaño del dataset podemos recomendarte algo más. En tu pseudo-código mezclas algoritmos supervisados y no-supervisados. Además de ranger, daría alguna oportunidad a "gbm" o como no a "xgboost". Y éstos los probaría dentro de H2O. Saludos, Carlos Ortega www.qualityexcellence.es El 4 de junio de 2017,

H2O va bien (muy bien) tanto en un ordenador sobremesa/portátil y sobre un clúster. En uno de sobremesa si tienes buena RAM y muchos cores, mejor. Y no tienes porqué usar Spark si no necesitas una solución tiempo real o "near real-time". H2O tiene otra solución para interaccionar con Spark (Sparkling Water). Incluso sobre un clúster, puedes usar "sparklyr" y