XGBoost. Extreme Gradient Boosting para aplicaciones mineras

Opiniones de los lectores

Actualmente no hay opiniones de lectores. La calificación se basa en 3 votos.

Título original:

XGBoost. The Extreme Gradient Boosting for Mining Applications

Contenido del libro:

Informe técnico del año 2017 en la asignatura Informática - Internet, Nuevas Tecnologías, grado: 8, idioma: Inglés, resumen: Tree boosting ha demostrado empíricamente ser un enfoque altamente eficaz y versátil para el modelado basado en datos. El argumento central es que el tree boosting puede determinar de forma adaptativa las vecindades locales del modelo, teniendo así en cuenta la compensación sesgo-varianza durante el ajuste del modelo.

Recientemente, un método de refuerzo de árbol conocido como XGBoost ha ganado popularidad por proporcionar una mayor precisión. Además, XGBoost introduce algunas mejoras que le permiten tratar el equilibrio sesgo-varianza con más cuidado. En este trabajo de investigación, proponemos demostrar el uso de un procedimiento adaptativo, es decir, Learned Loss (LL), para actualizar la función de pérdida a medida que avanza el boosting.

La precisión del algoritmo propuesto, es decir, XGBoost con función de pérdida aprendida, se evalúa mediante el método de prueba/entrenamiento, validación cruzada K-fold y validación cruzada estratificada, y se compara con los algoritmos más avanzados, como XGBoost, AdaBoost, AdaBoost-NN, regresión lineal (LR), red neuronal (NN), árbol de decisión (DT), máquina de vectores de soporte (SVM), bagging-DT, bagging-NN y Random Forest. Los parámetros evaluados son la precisión, el error de tipo 1 y el error de tipo 2 (en porcentajes).

Este estudio utiliza un total de diez años de datos históricos, desde enero de 2007 hasta agosto de 2017, de dos índices bursátiles, el CNX Nifty y el S&P BSE Sensex, que son muy voluminosos. Además, en este trabajo de investigación, investigaremos en qué se diferencia XGBoost de las técnicas de conjunto más tradicionales. Además, analizaremos las técnicas de regularización que ofrecen estos métodos y el efecto que tienen en los modelos.

Además, intentaremos responder a la pregunta de por qué XGBoost parece ganar tantas competiciones. Para ello, daremos algunos argumentos de por qué el tree boosting, y en particular XGBoost, parece ser un método tan eficaz y versátil.