Decisión trees, bagging, ramdon forest, boosting…
En este hilo vamos a hablar de los arboles de decision, desde los mas sencillos hasta las tecnicas mas complejas que pueden superar en efectividad a los Support Vector Machine para muchos casos.
Un arbol de decision no es mas que un arbol en el que se hacen preguntas sobre los parametros que tenemos y vamos colocando nuevas reglas de forma supervisada.
Otras tecnicas que tenemos para mejorar estos resultados son:
– Bagging
– Random Forest
– Boosting
Siendo la mas complicada de implementar Boosting y la mas efectiva, Random Forest es considerablemente efectiva y simple de implementar.
Tambien vamos a hablar de las tecnicas que se pueden utilizar para evitar el over-fitting cuando usemos Boosting.
Bagging:
"Bootstrap aggregating" tambien llamado "bagging" es una tecnica por la cual unos cuantos datos se toman de la muestra original para hacer un numero de muestras nuevas. Cada muestra se construye de forma aleatoria seleccionando valores de la muestra inicial, pudiendo seleccionar el mismo valor mas de una vez, cada sub-muestra tiene la misma cantidad de valores que la original, por lo que se pueden tener valores repetidos.
Despues aplicaremos el algoritmo de aprendizaje a cada muestra individualmente y tomaremos la respuesta que tenga el mayor numero de postivos.