Introducción al Análisis de Componentes Principales (PCA)

El Análisis de Componentes Principales (PCA) es una técnica ampliamente utilizado en aprendizaje automático. Se utiliza para reducir la dimensionalidad (el número de variables o columnas) de los conjuntos de datos manteniendo al mismo tiempo la mayor cantidad de información posible. PCA transforma las variables originales en otras nuevas, llamadas componentes principales, mediante combinaciones lineales de estas,

¿Qué se consigue al realizar un Análisis de Componentes Principales?

PCA realiza dos tareas principales sobre un conjunto de datos:

1. Reducción de la dimensionalidad: PCA reduce la cantidad de variables en un conjunto de datos al transformarlas en un nuevo conjunto de variables (componentes principales) que retienen la mayor parte de la información original.
2. Decorrelación de variables: PCA busca nuevas variables que estén decorrelacionadas entre sí, lo que puede ayudar a eliminar la multicolinealidad existente en el conjunto de datos original.

Base Matemática de PCA

La idea principal detrás del Análisis de Componentes Principales es identificar las direcciones de espacios en las que la varianza del conjunto de datos es máxima. Así, proyectado los datos sobre estas direcciones, se puede reducir la dimensionalidad y conservar la mayor varianza posible de los valores originales. Matemáticamente estas direcciones son los vectores propios (también conocidos como autovectores) de la matriz de covarianza de los datos.

Así, para realizar un análisis de PCA, se tiene que calcular los vectores y valores propios (también conocidos como autovalores) de la matriz de covarianza del conjunto de datos. Los valores propios indican cuánta varianza conserva cada uno de los vectores propios. Así, las componentes principales se ordenan usando los autovalores y se proyecta sobre los datos sobre las que conservan la mayor varianza.

Obtener la matriz de covarianza

El primer paso en PCA es calcular la matriz de covarianza de los datos originales. Para un conjunto de datos X de dimensiones n \times d, donde n es el número de observaciones y d es el número de variables, la matriz de covarianza \Sigma se calcula como: \Sigma = \frac{1}{n-1}(X - \bar{X})^T(X - \bar{X}), donde \bar{X} es el vector de medias de las variables.

Calcular los vectores y valores propios

Una vez obtenida la matriz de covarianza, el siguiente paso es encontrar los vectores propios (autovectores) y los valores propios (autovalores) de la matriz. Los autovectores son las direcciones en las cuales los datos tienen la máxima varianza, y los autovalores representan cuánta varianza está presente en cada una de esas direcciones.

La ecuación de los autovectores y autovalores es: \Sigma v_i = \lambda_i v_i, donde v_i es el i-ésimo autovector y \lambda_i es el i-ésimo autovalor.

Selección de las componentes principales

Una vez calculados los autovectores y autovalores, los autovectores se deben ordenar descendentemente en base a sus autovalores. Los autovectores con los autovalores más grandes capturan la mayor cantidad de varianza de los datos y, por lo tanto, se denominan las componentes principales. Se pueden seleccionar los k autovectores principales para reducir la dimensionalidad del conjunto de datos a k dimensiones.

Interpretación de los resultados de un PCA

Al aplicar PCA a un conjunto de datos se obtiene otro de menor dimensionalidad que conserva una gran cantidad de la varianza original. Por lo que es crucial interpretar los resultados para comprender cómo las nuevas variables (a las que se llama componentes principales) capturan la estructura de los datos originales.

Contribución de las variables originales

Cada componente principal es una combinación lineal de las variables originales. Por lo tanto, se puede examinar los coeficientes de estas combinaciones para identificar cómo contribuyen las variables originales a cada una de las componentes principales. Indicando una mayor contribución de los coeficientes más grandes.

Varianza explicada

Los autovalores asociados a cada componente principal representan la cantidad de varianza de los datos original que son explicados por ese componente. Lo que permite calcular cuál es el porcentaje de varianza explicada por cada componente principal. Simplemente se debe dividir el autovalor correspondiente por la suma de todos los autovalores. Algo que ayuda a determinar el número de componentes principales pueden ser necesarios en una aplicación.

Interpretación Gráfica

Una vez que se ha reducido la dimensionalidad de los datos y obtenido los componentes principales, es posible visualizar los datos transformados en un espacio de dimensionalidad reducida. Facilitando examinar la distribución de los datos y cómo se agrupan estos. Una representación que no se puede realizar cuando se trabaja con conjuntos de datos con más de tres dimensiones.

Aplicaciones del Análisis de Componentes Principales

PCA es una técnica con múltiples aplicaciones, algunas de las más comunes son:

Reducción de la dimensionalidad

La aplicación más directa de PCA es la reducción de dimensionalidad en conjuntos de datos. Algo que es especialmente útil en campos como la visión por computadora, el procesamiento de imágenes médicas y la genómica, donde se pueden tener miles o incluso millones de características. PCA permite reducir la complejidad de los datos sin perder información crucial, lo que facilita los análisis.

Compresión de datos

PCA también se utiliza para la compresión de datos. Al proyectar los datos en un espacio de dimensionalidad reducida, PCA puede eliminar la redundancia y la correlación entre las características, lo que resulta en una representación más eficiente de los datos. Conservando la mayor parte de la información en un volumen menor de datos. Esto es especialmente útil para el almacenamiento y la transmisión de datos, donde se busca minimizar el espacio o el ancho de banda requerido.

Visualización de datos

Otra de las aplicaciones de PCA es la visualización de datos. Al proyectar los datos en un espacio de dimensionalidad reducida, PCA permite representar estos en gráficos bidimensionales o tridimensionales. Permitiendo la interpretación visual de conjuntos de datos con múltiples dimensiones. Algo que es especialmente útil en campos como el análisis de datos, la minería de datos y la visualización de datos en grandes conjuntos de datos.

Preprocesamiento de datos

Además de las aplicaciones mencionadas anteriormente, PCA también se utiliza para el preprocesamiento de datos en etapas iniciales antes de aplicar otros algoritmos. Al reducir la dimensionalidad de los datos, PCA puede acelerar el tiempo de entrenamiento de los modelos y mejorar su rendimiento al eliminar la multicolinealidad y el ruido en los datos.

Ejemplo de uso de PCA en Python

Una vez vistos los fundamentos detrás del Análisis de Componentes Principales se puede ver como implementarlo en Python con Scikit-learn. En el siguiente código se muestra cómo aplicar PCA al conjunto de datos Iris.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# Cargar el conjunto de datos Iris
iris = load_iris()
X = iris.data
y = iris.target

# Aplicar PCA
pca = PCA(n_components=2)  # Reducir a 2 componentes principales
X_pca = pca.fit_transform(X)

# Visualizar los datos transformados
plt.figure(figsize=(8, 6))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis')
plt.xlabel('Componente Principal 1')
plt.ylabel('Componente Principal 2')
plt.title('PCA en el conjunto de datos Iris')
plt.colorbar(label='Clase')
plt.show()

En este ejemplo, en primer lugar, se carga el conjunto de datos Iris. Una vez hecho eso se crea un objeto PCA al que se le indica que solamente se desea obtener dos componentes principales y se entrena el modelo con el conjunto de datos. Finalmente, se muestran los dos componentes principales en un gráfico de dispersión.

Una vez entrenado el objeto PCA, las componentes se pueden obtener a través de la propiedad components_. Otro dato importante es la varianza explicada (explained_variance_) y el porcentaje de varianza explicada (explained_variance_ratio_).

# Imprimir los resultados con explicaciones
print("Componentes principales:")
print(pca.components_)
print()

print("Varianza explicada:")
print(pca.explained_variance_)
print()

print("Porcentaje de varianza explicada:")
print(pca.explained_variance_ratio_)

Componentes principales:
[[ 0.36138659 -0.08452251  0.85667061  0.3582892 ]
 [ 0.65658877  0.73016143 -0.17337266 -0.07548102]]

Varianza explicada:
[4.22824171 0.24267075]

Porcentaje de varianza explicada:
[0.92461872 0.05306648]

Conclusiones

El Análisis de Componentes Principales (PCA) es una técnica utilizada en una amplia variedad de campos, desde la reducción de la dimensionalidad hasta la compresión de datos y la visualización de datos. En esta entrada, se han explorado los fundamentos teóricos de PCA, su implementación en Python y algunas de sus aplicaciones más comunes.

Al aplicar PCA a un conjunto de datos, se puede reducir la dimensionalidad manteniendo la mayor parte de la información original. Esto permite simplificar el análisis de datos, mejorar el rendimiento de los algoritmos de aprendizaje automático y facilitar la interpretación visual de los datos. Además, PCA ayuda a identificar las direcciones de máxima varianza en los datos, lo que permite comprender mejor la estructura subyacente de los datos y extraer información significativa.

En resumen, PCA es una herramienta imprescindible tanto para el análisis de datos como para el aprendizaje automático.

Imagen de Iulian Scutelnicu en Pixabay