En los DataFrames de Pandas existe el método duplicated() con el que se pueden eliminar los registros duplicados de un DataFrame. Pero no es así para el caso de las columnas duplicadas. De modo que, en el caso querer comprobar la existencia de columnas duplicadas en un DataFrame es necesario programar el proceso de forma manual. Lo mismo en el caso de querer eliminar esta información redundante.
Creación de un conjunto de datos
En primer lugar, es necesario crear un conjunto de datos con columnas duplicadas, para lo que se puede recurrir duplicar valores en uno de los conjuntos de datos empleados habitualmente en el blog. Lo que se muestra en las siguientes líneas de código.
import pandas as pd
users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
'age': [27, 41, 29, 29, 21, 33],
'gender': ['Male', 'Female', 'Female', 'Male', 'Male', 'Female'],
'years': [27, 41, 29, 29, 21, 33],
'surname': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
'sales': [12, 41, 29, 12, 21, 22],
'time': [27, 41, 29, 29, 21, 33]}
df = pd.DataFrame(users)first_name last_name age gender years surname sales time 0 Montgomery Humes 27 Male 27 Humes 12 27 1 Dagmar Elstow 41 Female 41 Elstow 41 41 2 Reeba Wattisham 29 Female 29 Wattisham 29 29 3 Shalom Alen 29 Male 29 Alen 12 29 4 Broddy Keningham 21 Male 21 Keningham 21 21 5 Aurelia Brechin 33 Female 33 Brechin 22 33
Obteniendo un objeto en el cual las columnas years, surname y time son copias de age y last_name.
Identificar columnas duplicadas en Pandas
Una forma de comprobar la existencia de columnas duplicadas en DataFrames de Pandas es iterando sobre estas y usar el método equals(). Método que indica si el contenido de dos series es idéntico. En el caso de que se observe una coincidencia, solamente se tendría que guardar el valor de columna duplicada para posteriormente llevar a cabo las acciones que sean necesarias, como puede ser su eliminación.
Lo que se puede conseguir mediante el siguiente código.
import numpy as np
duplicates = []
for col in range(df.shape[1]):
contents = df.iloc[:, col]
for comp in range(col + 1, df.shape[1]):
if contents.equals(df.iloc[:, comp]):
duplicates.append(comp)
duplicates = np.unique(duplicates).tolist()[4, 5, 7]
En este código inicialmente se crea una lista vacía en la que se almacenarán los valores duplicados. Para obtener estos, en primer lugar, se iterar sobre todas las columnas del objeto, guardando en cada iteración el contenido en la variable contents. Ahora, en un segundo bucle, se itera sobre las columnas posteriores a la del primer bucle comprobando si el contenido de estas condice con el de la anterior. Usando para ello el método equals() de contents. En caso afirmativo, el contenido de la columna es el mismo, se agrega el contenido a la lista de duplicados.
Finalmente, mediante el uso de np.unique() se pueden eliminar las columnas que están duplicadas más de una vez. Algo que se observa en el conjunto de datos de ejemplo. Aunque este proceso no es necesario para posteriormente eliminar las columnas.
Eliminar columnas duplicadas en Pandas
Ahora que se dispone de un listado de las columnas duplicadas se puede emplear el método drop() de los DataFrames para eliminar las estas. Aunque, como ya se explicó en una entrada anterior, este método requiere que se indique el nombre de la columna, no su posición. Problema que se puede solucionar fácilmente obteniendo los nombres. Así, para eliminar las columnas duplicadas solamente se tendría que hacer.
df.drop(df.columns[duplicates], axis=1)
first_name last_name age gender sales 0 Montgomery Humes 27 Male 12 1 Dagmar Elstow 41 Female 41 2 Reeba Wattisham 29 Female 29 3 Shalom Alen 29 Male 12 4 Broddy Keningham 21 Male 21 5 Aurelia Brechin 33 Female 22
Obteniendo un nuevo DataFrame sin la información redundante.
Uso de listas por comprensión
Las columnas duplicadas también se pueden obtener mediante listar por compresión. Aunque el código resultante es menos legible que el anterior. Pudiéndose obtener la lista de duplicados simplemente mediante la siguiente línea.
duplicates = [b for a in range(df.shape[1]) for b in range(a + 1, df.shape[1]) if df.iloc[:, a].equals(df.iloc[:, b])] df.drop(df.columns[duplicates], axis=1)
Factorización del código
Es posible que usemos este código de forma habitual, por lo que es una buena idea crear unas funciones. Por ejemplo, se puede crear la función duplicated_columns() con la que se puedan identificar las columnas duplicadas en un DataFrame. Función en la que se pueden devolver los nombres o las posiciones de las columnas duplicadas. Otra función puede ser remove_duplicated_columns() mediante la cual se elimine los valores duplicados. Una implementación de esta función se puede ver en el siguiente código.
import numpy as np
def duplicated_columns(df, names=True):
duplicates = []
for col in range(df.shape[1]):
for comp in range(col + 1, df.shape[1]):
if df.iloc[:, col].equals(df.iloc[:, comp]):
duplicates.append(comp)
duplicates = np.unique(duplicates).tolist()
if names:
return df.columns[duplicates]
else:
return duplicates
def remove_duplicated_columns(df):
duplicates = duplicated_columns(df)
if len(duplicates) == 0:
return df
else:
return df.drop(duplicates, axis=1)Nótese que el método duplicated_columns() tiene una propiedad opcional names, cuyo valor por defecto es verdadero, para indicar si lo que se desea obtener es el nombre de columnas o las posiciones. Por lo que en la función remove_duplicated_columns ya no es necesario convertir los índices de en nombres a la hora de eliminar los datos.
Conclusiones
Aunque existe un método duplicated() para identificar las filas duplicadas de un DataFrame no es así para el caso de las columnas. En esta entrada hemos visto cómo se pueden identificar y eliminar columnas duplicadas en Pandas, para lo que incluso se han creado un par de funciones que pueden ser de interés en nuestro día a día.
Deja una respuesta