• Ir al contenido principal
  • Skip to secondary menu
  • Ir a la barra lateral primaria
  • Ir al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Noticias
    • Opinión
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Boletín
  • Contacto
  • Acerca de Analytics Lane
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • GearBest
      • GeekBuying
      • JoyBuy

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Criptografía
  • Python
  • Matlab
  • R
  • Julia
  • JavaScript
  • Herramientas
  • Opinión
  • Noticias

Automatización del procesado de datos en Scikit-learn con Pipeline

febrero 4, 2019 Por Daniel Rodríguez Dejar un comentario

En aprendizaje automático la creación de un modelo es un proceso complejo que requiere llevar a cabo múltiples pasos. Siendo la preparación de los datos uno de los que más tiempo requiere. Tras la obtención de un conjunto de datos es necesario aplicarle a este diferentes operaciones antes de poder utilizar un estimador. A modo de ejemplo algunas de las operaciones más habituales son: limpieza de datos, extracción de las características, normalización de las características y reducción de la dimensionalidad. Por lo que su automatización permitiría aumentar considerablemente la productividad. En Scikit-learn, la automatización del procesado de datos se puede conseguir mediante el uso de tuberías (pipelines). Las cuales se construyen con la clase Pipeline. Permitiendo crear flujos de trabajos en los que se pueden aplicar transformaciones y un estimador a un conjunto de datos.

Las tuberías se pueden utilizar posteriormente como si fuesen un estimador más. Lo que permite emplearlas en clases como GridSearchCV para seleccionar los parámetros e hiperparametros de los modelos mediante validación cruzada.

Pipeline para automatizar las transformaciones en los conjuntos de datos

Para ver cómo utilizar la clase Pipeline se va a utilizar el conjunto de datos del precio de la vivienda de Boston. El cual se encuentra dentro de los ejemplos de Scikit-learn. Este es un problema de regresión, predecir el precio de la vivienda, que se puede solucionar con un estimador Lasso.

Antes de aplicar el estimador se puede normalizar las características, por ejemplo, con StandardScaler, y reducir la dimensionalidad. Por lo tanto, es necesario realizar tres pasos que se pueden agrupar en una tubería como se muestra a continuación.

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.pipeline import Pipeline
from sklearn.linear_model import Lasso

boston = load_boston()

X = boston.data
y = boston.target

pipe = Pipeline([('scale', StandardScaler()),
                 ('pca', PCA(n_components=2)),
                 ('model', Lasso(alpha=0.1))])

pipe.fit(X, y)

En este código, tras la importación de las librerías y del conjunto de datos, se crea un objeto Pipeline. Al objeto se le inyecta un vector de tuplas. Cada una de las tuplas contiene dos elementos, una cadena con el nombre y el objeto con la transformación. Finalmente, el objeto pipe se utiliza como un estimador para obtener un modelo. El cual es el resultado de aplicar las transformaciones y el estimado en el orden indicado al conjunto de datos.

Automatización del procesado de datos en validación cruzada

En una entrada anterior se mostró como utiliza la clase GridSearchCV para seleccionar los hiperparametros de los modelos. Ahora se puede utilizar la tubería para seleccionar también las opciones en el procesado de datos previo. Esto es lo que se muestra en el siguiente ejemplo.

from sklearn.model_selection import GridSearchCV

components=[1, 2, 3, 4, 5, 6]
alpha=[1, 0.5, 0.2, 0.1, 0.05, 0.02, 0.01]

grid = GridSearchCV(estimator = pipe,
                    param_grid = dict(pca__n_components=components,
                                      model__alpha=alpha),
                    cv = 3)

grid.fit(X, y)

Comparando este con los ejemplos de la entrada sobre GridSearchCV se puede ver que se ha utilizado la tubería como estimador. Reemplazando al objeto del estimador. Además, para indicar los parámetros se utiliza el nombre del objeto, dos guiones bajos y el nombre de la propiedad. Probando en esta ocasión diferentes valores para el número de componentes y el parámetro alpha.

El objeto grid se utiliza como un estimador para obtener el modelo. Una vez entrenado se pueden consultar los mejore parámetros en la propiedad best_params_.

grid.best_params_
{'model__alpha': 0.2, 'pca__n_components': 6}

Conclusiones

En esta entrada se ha visto cómo conseguir la automatización del procesado de datos en Scikit-learn con Pipeline. Aumentado así la productividad. En lugar de aplicar todos los procesos uno detrás de otro, se definen la tubería y se ejecutan en un único paso. Además, al combinarlo con GridSearchCV es posible optimizar no solo los hiperparametros del modelo, sino que de las transformaciones.

Imágenes: Pixabay (Robson Machado)

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Contenido relacionado

Archivado en:Python Etiquetado con:scikit-learn

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad


Barra lateral primaria

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

¡Síguenos en redes sociales!

  • facebook
  • github
  • telegram
  • pinterest
  • rss
  • tumblr
  • twitter
  • youtube

Publicidad

Tiendas afiliadas

Ayúdanos realizando tus compras sin coste adicional con los enlaces de la tienda. ¡Gracias!

Entradas recientes

Usar dispositivos USB en VirtualBox

enero 15, 2021 Por Daniel Rodríguez Dejar un comentario

Eliminar elementos en matrices de Matlab

enero 13, 2021 Por Daniel Rodríguez Dejar un comentario

NumPy

NumPy: Crear matrices vacías en NumPy y adjuntar filas o columnas

enero 11, 2021 Por Daniel Rodríguez Dejar un comentario

Publicidad

Es tendencia

  • Seleccionar filas y columnas en Pandas con iloc y loc bajo Python
  • ¿Cómo eliminar columnas y filas en un dataframe pandas? bajo Python
  • Excel en Python Guardar y leer archivos Excel en Python bajo Python
  • Codificación JSON Archivos JSON con Python: lectura y escritura bajo Python
  • Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas bajo Python

Publicidad

Lo mejor valorado

5 (3)

Ordenar una matriz en Matlab en base a una fila o columna

5 (3)

Automatizar el análisis de datos con Pandas-Profiling

5 (5)

Diferencias entre var y let en JavaScript

5 (6)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

5 (3)

Unir y combinar dataframes con pandas en Python

Publicidad

Comentarios recientes

  • Daniel Rodríguez en Calculadora de probabilidades de ganar a la lotería
  • abel en Calculadora de probabilidades de ganar a la lotería
  • David Arias en Diferencias entre regresión y clasificación en aprendizaje automático
  • Juan Aguilar en Archivos JSON con Python: lectura y escritura
  • Camilo en Contar palabras en una celda Excel

Publicidad

Footer

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Noticias
  • Opinión

Programación

  • JavaScript
  • Julia
  • Matlab
  • Python
  • R

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Lo más popular
  • Tienda

Tiendas Afiliadas

  • AliExpress
  • Amazon
  • BangGood
  • GearBest
  • Geekbuying
  • JoyBuy

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Tiendas afiliadas

Ayúdanos realizando tus compras sin coste adicional con los enlaces de la tienda. ¡Gracias!

Amazon

2018-2020 Analytics Lane · Términos y condiciones · Política de Cookies · Política de Privacidad · Herramientas de privacidad · Contacto