La preparación de los datos es una parte clave del éxito de los modelos de aprendizaje automático o Machine Learning. Siendo una parte fundamental del trabajo para garantizar que los modelos puedan aprender de manera efectiva y eficiente. Una de las técnicas más sencillas y utilizadas durante la fase de preparación de los datos es la normalización de datos. En esta entrada, se analizará en detalle la importancia de la normalización de datos en el contexto del aprendizaje automático.
Tabla de contenidos
¿Qué es la normalización de datos y por qué es importante?
En aprendizaje automático, la normalización de datos es un proceso que implica modificar las escalas de las características del conjunto de datos para que estén en un rango específico de valores. Eliminado durante el proceso las unidades de las características. Mediante esta técnica se busca estandarizar las características para que todas estén en una escala similar, lo que facilita el proceso de entrenamiento de los modelos y mejora la convergencia durante el proceso de aprendizaje.
¿Por qué es importante la normalización de datos?
La importancia de la normalización de datos radica en que es una herramienta que permite resolver problemas que aparecen durante el entrenamiento de los modelos. Como las diferentes escalas en las características o la existencia de distribuciones sesgadas. Si las características de un conjunto de datos tienen escalas muy diferentes, durante el entrenamiento de los modelos, los algoritmos de ajuste pueden dar más pesos a las características con valores más grandes, lo que puede afectar negativamente al rendimiento del modelo. La normalización de datos soluciona este problema al garantizar que todas las características tienen rangos de valores similares.
Además de esto, la normalización puede ayudar a que los modelos convergen más rápidamente durante el proceso de entrenamiento. Lo que permite ahorrar tiempo durante el proceso de entrenamiento. Al reducir las disparidades en las escalas, la normalización de datos también puede ayudar a comprender cómo cada característica contribuye a las predicciones finales. Facilitando identificar aquellas que influyen más en el resultado.
Principales técnicas de normalización de datos
Existen varias técnicas para la normalización de datos en aprendizaje automático. Cada una de ellas con sus ventajas e inconvenientes. Algunas de las más populares son las siguientes.
Min-Max Scaling
Min-Max Scaling, también conocida como escalamiento de características al rango, es una técnica que transforma las características para que estén dentro de un rango específico, generalmente entre 0 y 1. La fórmula general para el escalamiento Min-Max de una característica x es: x_{\text{escalado}} = \frac{x - \text{min}(x)}{\text{max}(x) - \text{min}(x)} donde \text{min}(x) y \text{max}(x) son el valor mínimo y máximo de la característica, respectivamente.
Estandarización
La estandarización transforma las características para que tengan una media de 0 y una desviación estándar de 1. La fórmula para la estandarización de una característica x es: x_{\text{estandarizado}} = \frac{x - \mu}{\sigma} donde \mu es la media de la característica y \sigma es la desviación estándar.
Normalización robusta
La normalización robusta (Robust Scaling) es una técnica similar a la estandarización, pero en lugar de utilizar la media y la desviación estándar, utiliza la mediana y el rango intercuartílico (IQR). Esto hace que la escala robusta sea más resistente a los valores atípicos de los datos. La fórmula para la escala robusta de una característica x es: x_{\text{robust}} = \frac{x - m}{\text{IQR}(x)} donde m es la mediana de la característica y \text{IQR}(x) es el rango intercuartílico. Siendo el rango intercuartílico la diferencia entre el tercer cuartil y el primer cuartil de un conjunto de datos. El primer cuartil es el valor por debajo del cual se encuentra el 25% de los datos, mientras que el tercer cuartil es el valor por debajo del cual se encuentra el 75% de los datos.
Escalado logarítmico
El escalado logarítmico es útil cuando los datos tienen una distribución sesgada hacia la derecha. Tomar el logaritmo de los datos puede ayudar a comprimir la escala de los valores y hacer que la distribución sea más cercana a una distribución normal. Esto puede ser útil para mejorar el rendimiento de los modelos que asumen normalidad en los datos. La fórmula para el escalado logarítmico de una característica x es: x_{\text{log}} = \log(x + 1) donde \log es la función logarítmica natural.
Aplicaciones de la normalización de datos
Algunas de las aplicaciones en las que la normalización de datos es clave para el éxito de los modelos son las siguientes.
Visión por computadora
En aplicaciones de visión por computadora la normalización de datos es esencial para garantizar que las características de cada píxel estén en la misma escala. Algo crucial debido a las variaciones de intensidad que puede haber en los píxeles en las imágenes. Al normalizar los valores de los píxeles para que estén en un rango específico, como [0, 1], los modelos de clasificación de imágenes pueden aprender de manera más efectiva las características relevantes para distinguir entre diferentes tipos de objetos.
Detección de fraude en transacciones financieras
En el campo de la detección de fraudes en transacciones financieras, la normalización de datos es crucial para identificar patrones anómalos en los datos de transacciones. Modelos en los que los datos pueden ser muy diferentes: el monto de la transacción, el historial de transacciones y la ubicación geográfica. Al normalizar las características los modelos de detección de fraudes pueden identificar con mayor precisión transacciones sospechosas y proteger de esta manera a los usuarios y entidades financieras.
Diagnóstico médico
En el ámbito de la salud, la normalización de datos es esencial para analizar los datos biomédicos. Los datos que se pueden analizar en este caso también tienen escalas muy diferentes: pruebas de laboratorio, registros de signos vitales y otros registros de pacientes. Una vez normalizados los datos, los modelos pueden detectar patrones sutiles en los datos que pueden ser indicativos de enfermedades o afecciones médicas, lo que facilita un diagnóstico preciso y oportuno.
Casos en los que la normalización puede ser contraproducente
A pesar de los beneficios que se ha visto de la normalización de datos, existen algunos casos en los que en los que su aplicación puede ser innecesaria o contraproducente. Algo que sucede cuando los datos tienen escalas similares o el modelo seleccionado no se ve afectado por estos cambios. Algunas de las situaciones en las que la normalización de datos puede no ser adecuada son los que se muestran a continuación.
Modelos basados en árboles de decisión
Los modelos basados en árboles de decisión, como los árboles de clasificación y regresión, no se ven afectados por la escala de las características. En estos modelos los nodos de un se dividen en base al valor de una característica, por lo que las unidades de esta no afectan a su rendimiento. Por lo tanto, normalizar los datos antes de entrenar un modelo basado en árboles es innecesario.
Datos ya normalizados
En algunos conjuntos de datos, las características pueden estar naturalmente en la misma escala o tener una distribución que no requiera normalización. Por ejemplo, en conjuntos de datos que contienen características que representan porcentajes o proporciones, como tasas de interés o tasas de conversión, la normalización puede no ser necesaria ya que estas características ya están en una escala uniforme.
Modelos donde la interpretación de las características es clave
En ciertos casos, la normalización de datos puede dificultar la interpretación de los resultados del modelo, especialmente cuando las características normalizadas pierden su significado original. Por ejemplo, si al construir un modelo que se desea utilizar para identificar aquellas características más importantes sobre las que se desee actuar para aumentar la eficiencia del procesos. En estas situaciones, puede ser preferible usar métodos de escalado que mantienen el significado original de las características.
Conclusiones
La normalización de datos es una herramienta fundamental durante la preparación de datos para modelos de aprendizaje automático. A pesar de ofrecer claros beneficios para mejorar la convergencia y el rendimiento de los modelos, no es una solución universal. Existen casos en los que su aplicación puede llegar a ser contraproducente. Conocer y comprender los casos en los que la normalización de datos puede ser contraproducente se pueden estudiar alternativas para mejorar los datos antes de entrenar los modelos.
Imagen de Jenny Friedrichs en Pixabay
Deja una respuesta