¿Cuál es la diferencia entre parámetro e hiperparámetro?

En aprendizaje automático hay dos conceptos que parecen similares, aunque son completamente diferentes: parámetro e hiperparámetro. Ambos con unos conjuntos de valores que se tienen que afinar a la hora de crear un modelo para un problema dado. Tanto si este es de aprendizaje supervisado como no supervisado. A continuación, se explicará las diferencias entre los parámetros e hiperparámetros.

¿Qué es un parámetro de un modelo?

En los modelos de aprendizaje automático, los parámetros son las variables que se estiman durante el proceso de entrenamiento con los conjuntos de datos. Por lo que sus valores no los indica manualmente el científico de datos, sino que son obtenidos.

Los parámetros son la parte más importante en los modelos de aprendizaje automático. Ya que es la parte de los modelos que se aprende de los datos. Son necesarios para realizar las predicciones. Además de definir la capacidad del modelo para resolver un problema dado. Por lo que estimarlos correctamente es una tarea clave.

La forma más habitual de estimar los parámetros de los modelos es mediante algoritmos de optimización. Como, por ejemplo, el descenso del gradiente. Los modelos que tienen un número fijo de parámetros son los que se denominan “paramétricos”, mientras aquellos que los tiene variables son “no paramétricos”. Algunos ejemplos de parámetros de modelos de aprendizaje automático son:

Los coeficientes en una regresión lineal o logística.
Los pesos en una red neuronal artificial.
Los vectores de soporte en una máquina de vectores de soporte.

¿Qué es un hiperparámetro?

Los hiperparámetros de un modelo son los valores de las configuraciones utilizadas durante el proceso de entrenamiento. Son valores que generalmente se no se obtienen de los datos, por lo que suelen ser indicados por el científico de datos. El valor óptimo de un hiperparámetro no se puede conocer a priori para un problema dado. Por lo que se tiene que utilizar valores genéricos, reglas genéricas, los valores que han funcionado anteriormente en problemas similares o buscar la mejor opción mediante prueba y error. Siendo una buena opción buscar los hiperparámetros la validación cruzada.

Al entrenar un modelo de aprendizaje automático se fijan los valores de los hiperparámetros para que con estos se obtengan los parámetros. Algunos ejemplos de hiperparámetros utilizados para entrenar los modelos son:

La ratio de aprendizaje en el algoritmo del descenso del gradiente.
El número de vecinos en k-vecinos más cercanos (k-nn).
La profundidad máxima en un árbol de decisión

Conclusiones

En esta entrada se ha visto cuales son las diferencias entre un parámetro e hiperparámetro en un modelo de aprendizaje automático. Básicamente los parámetros son los valores que se obtienen durante el proceso de entrenamiento. Por ejemplo, los parámetros de una regresión línea. Mientras que los hiperparámetros son los valores que utilizan para entrenar los modelos. Por ejemplo, la ratio de aprendizaje en un algoritmo de optimización. Además, los parámetros se obtienen a partir del conjunto de datos mientras que los hiperparámetros los suele seleccionar el científico de datos.

Imágenes: Pixabay (Fernando50)