Introducción a XGBoost: Instalación y primeros pasos

XGBoost (Extreme Gradient Boosting) es un algoritmo que ha ganado popularidad entre los científicos de datos debido a su potencia y eficiencia. En esta entrada se explicará qué es XGBoost, cómo instalarlo en Python y un cómo se puede usar en un caso práctico.

¿Qué es XGBoost?

XGBoost es un algoritmo de aprendizaje supervisado basado en árboles de decisión, diseñado para resolver problemas de regresión y clasificación. Utiliza el concepto de boosting, una técnica de Ensemble Learning, en el que se combinan múltiples modelos para crear uno más eficiente que mejore el rendimiento de cada uno de los modelos independientes. La idea central es entrenar iterativamente modelos y hacer que los nuevos se centren en los errores cometidos por los anteriores, lo que permite mejorar de forma continua el rendimiento del modelo final.

El algoritmo XGBoost utiliza árboles de decisión como modelos base. Un árbol de decisión es una estructura de datos en forma de árbol donde cada nodo interno representa una característica (o atributo), cada rama representa una decisión basada en esa característica, y cada nodo hoja representa un resultado (como una clase en clasificación o un valor numérico en regresión).

En XGBoost, los árboles de decisión se construyen de manera secuencial, y cada árbol se afina a los errores del modelo anterior. Lo que se consigue mediante el cálculo de gradientes. Incluyendo en el proceso técnicas de optimización para minimizar una función de pérdida específica.

Una de las características distintivas de XGBoost es su capacidad para manejar la falta de datos de manera eficiente. Un problema en muchos conjuntos de datos. También utiliza regularización para prevenir el sobreajuste y mejorar la generalización del modelo.

El proceso de entrenamiento de XGBoost se puede resumir en los siguientes pasos:

1. Inicialización del modelo con un árbol de decisión básico.
2. Cálculo de los gradientes de la función de pérdida.
3. Construcción de un nuevo árbol de decisión para ajustar los errores residuales.
4. Actualización del modelo con el nuevo árbol.
5. Repetición de los pasos 2-4 hasta que se cumpla un cierto criterio de detención (como el número máximo de árboles o la convergencia del modelo).

Este proceso de construcción secuencial de árboles y ajuste de los errores residuales conduce a un modelo final que es una combinación ponderada de múltiples árboles, lo que mejora la capacidad predictiva y la generalización del modelo.

Instalación en Python

La instalación de XGBoost en Python, como suele ser habitual, se puede realizar fácilmente mediante el uso del comando de terminal pip. Para lo que solamente se debe ejecutar la línea

pip install xgboost

En el caso de trabajar con una distribución basada en Conda, también se puede instalar mediante el siguiente comando.

conda install -c conda-forge xgboost

Ejemplo práctico de uso de XGBoost en Python

Para comprobar cómo funciona XGBoost en la práctica se puede usar el conjunto de datos de Titanic que se puede importar desde la biblioteca Seaborn. Un conjunto de datos clásico que contiene información de los pasajeros del Titanic y su supervivencia. También es un conjunto de datos en el que existen muchos registros con datos nulos, lo que suele complicar el entrenamiento de los modelos.

En el siguiente código se carga el conjunto de datos, se seleccionan algunas variables y se entrena un modelo con XGBoost para predecir la supervivencia o no de los pasajeros.

import pandas as pd
import seaborn as sns
import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Cargar el conjunto de datos de Titanic
titanic = sns.load_dataset("titanic")

# Preprocesamiento de datos: seleccionar características relevantes y manejar valores nulos
features = ['pclass', 'sex', 'age', 'sibsp', 'parch', 'fare']
target = 'survived'

titanic = titanic[features + [target]].dropna()

# Convertir variables categóricas a numéricas
titanic['sex'] = titanic['sex'].map({'male': 0, 'female': 1})

# Dividir el conjunto de datos en conjuntos de entrenamiento y prueba
X_train, X_test, y_train, y_test = train_test_split(titanic[features], titanic[target], test_size=0.2, random_state=42)

# Entrenar el modelo XGBoost
model = xgb.XGBClassifier()
model.fit(X_train, y_train)

# Realizar predicciones en el conjunto de prueba
predictions = model.predict(X_test)

# Calcular la precisión del modelo
accuracy = accuracy_score(y_test, predictions)
print("Precisión de XGBoost:", accuracy)

Precisión de XGBoost: 0.7972027972027972

La precisión del modelo es bastante buena, en el conjunto de test esta supera el 79%

Comparación de rendimiento de XGBoost con una regresión logística

Una vez visto el resultado surge la duda de saber cuán bueno es en comparación con un modelo clásico como una regresión logística. Para ello se puede ejecutar el siguiente código y comprobar como la regresión logística ofrece un rendimiento peor que el modelo basado en XGBoost.

# Código para comparar la precisión de XGBoost con una regresión logística
from sklearn.linear_model import LogisticRegression

# Entrenar modelos
logistic_model = LogisticRegression()
logistic_model.fit(X_train, y_train)

# Realizar predicciones
logistic_predictions = logistic_model.predict(X_test)

# Calcular precisión
logistic_accuracy = accuracy_score(y_test, logistic_predictions)

print("Precisión de Regresión Logística:", logistic_accuracy)

Precisión de Regresión Logística: 0.7482517482517482

Para este problema, la precisión de la regresión logística es de 74%, unos cinco puntos menos que el modelo basado en XGBoost.

Conclusiones

XGBoost es una técnica de Ensemble Learning, como Catboost, que se debe incluir en el arsenal de cualquier científico de datos. Frente a los modelos clásicos ofrece una mayor capacidad de predicción y un mejor comportamiento cuando existen datos nulos.

Imagen de Amrulqays Maarof en Pixabay