Una de las ventajas de usar árboles de regresión es su interpretabilidad. Cuando se crea un modelo a partir de un árbol de regresión no solamente se puede obtener una predicción para cada uno de los registros, sino que también es posible saber cuánto afecta cada una de las características usadas al resultado final. Aunque esto no se puede hacer directamente en Scikit-learn. Afortunadamente existe un paquete que facilita esta tarea, permitiendo obtener la interpretación de las predicciones de los árboles de regresión. El cual también se puede aplicar a los modelos de Random Forest
Instalación del paquete treeinterpreter
El paquete con el que se puede obtener una interpretación de las predicciones de los árboles de regresión se llama treeinterpreter. Como es habitual en Python, este se puede instalar a través de pip escribieron en la terminal el comando
pip install treeinterpreter
En el caso de trabajar con Conda también se puede instalar el paquete ejecutando en la terminal el siguiente comando
conda install -c conda-forge treeinterpreter
Una vez hecho esto el paquete quedará instalado en el ordenador.
Creación de un modelo con árboles de regresión
Ahora se puede crear un modelo para predecir el valor de la vivienda en California, para lo que se puede emplear el conjunto de datos que se incluye en Scikit-learn. Tras separar los datos en un conjunto de entrenamiento y otro de prueba se puede entrenar con estos un árbol de regresión. Lo que se puede hacer con el siguiente código.
from sklearn.datasets import fetch_california_housing from sklearn.tree import DecisionTreeRegressor from sklearn.model_selection import train_test_split california = fetch_california_housing() x_train, x_test, y_train, y_test = train_test_split(california.data, california.target, random_state=0) dt = DecisionTreeRegressor().fit(x_train, y_train) # Predicción de los cinco primeros elementos de conjunto de prueba dt.predict(x_test[0:5])
[1.246 2.518 1.308 0.708 5.00001]
Al final del código anterior se ha realizado una predicción del precio de la vivienda, expresado en cientos de miles de dólares, para los 5 primeros registros del conjunto de datos. Pero con el método predict() solamente se puede obtener el valor final, no lo que aporta cada una de las características. Problema que se puede solucionar con treeinterpreter.
Interpretación de las predicciones de los árboles de regresión
Una vez creado el modelo se puede importar treeinterpreter del paquete del mismo nombre y usar esta función para obtener la predicción, el bis, y las contribuciones de cada una de las características. Pudiendo crear un DataFrame con los resultados para verlos con mayor facilidad.
import pandas as pd
import numpy as np
from treeinterpreter import treeinterpreter as ti
prediction, bias, contributions = ti.predict(dt, x_test)
df = pd.DataFrame(np.column_stack((contributions, bias)),
columns=np.concatenate((california.feature_names, ['bias'])))
df.head()MedInc HouseAge AveRooms AveBedrms Population AveOccup Latitude Longitude bias 0 0.062276 -0.110023 -0.044517 -0.095700 0.016388 -0.468421 0.091065 -0.287439 2.074373 1 0.866956 -0.119359 0.000000 -0.184666 -0.120806 -0.130550 0.119658 -0.055606 2.074373 2 0.170822 -0.112624 -0.121526 0.000000 0.017198 -0.346995 -0.468915 0.095667 2.074373 3 -0.523670 -0.131000 -0.191098 0.053625 0.000000 -0.063267 0.415634 -0.926596 2.074373 4 0.393451 0.309513 0.000000 -0.131560 0.000000 1.596019 0.758214 0.000000 2.074373
En este DataFrame cada una de las filas indica lo que aporta cada una de las variables al resultado final. Al incluir el bias es posible comprobar que la suma de las filas da el resultado final.
df.head().sum(axis=1)
[1.246 2.518 1.308 0.708 5.00001]
Lo que nos dice esta tabla es que para el primer registro la característica MedInc (ingreso medio en el bloque) aporta 0,0622 al resultado, mientras que (edad media de las casas en el bloque) reduce el valor en 0,0922. De este modo se puede saber cuáles son las características que aporta valor y cuáles restan en cada uno de los registros.
Interpretación de las predicciones de Random Forest
La función también se puede aplicar a modelos basados en Random Forest, al igual que el resto de los modelos basados en árboles de decisión que existen en Scikit-learn. Para ello solamente se tiene que cambiar la clase con la que se crea el modelo.
from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor().fit(x_train, y_train)
prediction, bias, contributions = ti.predict(rf, x_test)
df = pd.DataFrame(np.column_stack((contributions, bias)),
columns=np.concatenate((california.feature_names, ['bias'])))
df.head()Conclusiones
En esta entrada se ha visto un paquete con el cual se pueden interpretar las predicciones de los modelos basados en árboles. Por lo que, además de las predicciones, se obtiene información útil para comprender los resultados. Con lo que se puede actuar sobre los registros para obtener mejores resultados.
Deja una respuesta