Eliminación de duplicados en DataFrames de Pandas

Los DataFrames de Pandas es uno de los principales objetos para el análisis de datos en Python. Al trabajar con datos reales, uno de los problemas más comunes es la presencia de valores duplicados, lo que puede afectar tanto a la integridad como a la precisión de los análisis. Afortunadamente, en los DataFrames de Pandas existen herramientas para la eliminación de duplicados de una manera sencilla. En esta entrada se analizará cómo eliminar duplicados en DataFrames de Pandas, abordando tanto el caso donde todos los valores son iguales como aquellos en los que solamente un subconjunto de estos lo son.

Eliminación de duplicados donde todos los valores son iguales

El problema más habitual a la hora de eliminar duplicados es cuando todos los valores de un registro son iguales al de otro. Esto es, filas que son completamente idénticas a otras. Para este problema, los DataFrames de Pandas cuentan con el método drop_duplicates() que al ejecutarlo en un DataFrame devuelve otro sin las filas duplicadas. Lo que se puede ver en el siguiente ejemplo.

import pandas as pd

# Creamos un DataFrame de ejemplo con filas duplicadas
data = {'A': [1, 1, 2, 3, 3],
        'B': ['a', 'a', 'b', 'c', 'd']}
df = pd.DataFrame(data)

print("DataFrame original:")
print(df)

# Eliminamos las filas duplicadas
df_sin_duplicados = df.drop_duplicates()

print("\nDataFrame sin duplicados:")
print(df_sin_duplicados)

DataFrame original:
   A  B
0  1  a
1  1  a
2  2  b
3  3  c
4  3  d

DataFrame sin duplicados:
   A  B
0  1  a
2  2  b
3  3  c
4  3  d

En donde se ha creado un DataFrame con filas duplicadas, empleando el método drop_duplicates() para eliminar estas.

En Analytics Lane

Curiosidad: La maldición de la dimensionalidad, o por qué añadir más datos puede empeorar tu modelo

Eliminación de duplicados donde solo un subconjunto de valores es igual

En algunos casos, es posible que solo sea necesario eliminar duplicados basados en un subconjunto de columnas en lugar de todas las columnas. Por ejemplo, si se desea obtener solamente un registro por cliente, se eliminan operaciones que pueden ser diferentes. Para esto se puede usar el método drop_duplicates() con el parámetro subset para indicar aquellas columnas que se deben usar para identificar duplicados. Esto se puede ver en el siguiente ejemplo donde se crea un DataFrame y solo se elimina los duplicados de la columna A.

# Creamos un DataFrame de ejemplo con filas duplicadas
data = {'A': [1, 1, 2, 3, 3],
        'B': ['a', 'b', 'c', 'd', 'e'],
        'C': ['x', 'y', 'x', 'y', 'x']}
df = pd.DataFrame(data)

print("DataFrame original:")
print(df)

# Eliminamos las filas duplicadas basadas solo en la columna 'A'
df_sin_duplicados = df.drop_duplicates(subset=['A'])

print("\nDataFrame sin duplicados basados en 'A':")
print(df_sin_duplicados)

DataFrame original:
   A  B  C
0  1  a  x
1  1  b  y
2  2  c  x
3  3  d  y
4  3  e  x

DataFrame sin duplicados basados en 'A':
   A  B  C
0  1  a  x
2  2  c  x
3  3  d  y

A diferencia del ejemplo anterior, en esta ocasión solamente se tienen en cuenta cuando el valor de una columna se repite. Independientemente de que el resto de los valores sean diferentes. Como se puede ver en el ejemplo se conserva solamente el primer registro, comportamiento que se puede modificar con la propiedad keep.

Seleccionar el registro que se conserva al eliminar duplicados con drop_duplicates()

El parámetro keep del método drop_duplicates() es clave para escoger los registros que se desean conservar cuando existen duplicados en un DataFrame. La propiedad puede tener la siguiente tres opciones:

• keep='first': Esta es la opción por defecto. Mantendrá la primera aparición de cada conjunto de valores duplicados y eliminará las siguientes.
• keep='last': Conservará la última aparición de cada conjunto de valores duplicados y eliminará las anteriores.
• keep=False: Eliminará todas las filas que contienen valores duplicados, esto es, no se conservará ningún registro de los que son duplicados.

Veamos a continuación cómo afecta el valor que se indica en el parámetro a los resultados. En el caso de indicar la opción keep='first' no afecta al resultado ya que es la opción por defecto del método.

# Eliminamos las filas duplicadas manteniendo la primera aparición
df_sin_duplicados = df.drop_duplicates(subset=['A'], keep='first')

print("\nDataFrame sin duplicados basados en 'A' (keep='first'):")
print(df_sin_duplicados)

DataFrame sin duplicados basados en 'A' (keep='first'):
   A  B  C
0  1  a  x
2  2  c  x
3  3  d  y

Cuando se indica el valor keep='last' el resultado cambia ya que se conserva la última aparición en lugar de la primera.

# Eliminamos las filas duplicadas manteniendo la última aparición
df_sin_duplicados = df.drop_duplicates(subset=['A'], keep='last')

print("\nDataFrame sin duplicados basados en 'A' (keep='last'):")
print(df_sin_duplicados)

DataFrame sin duplicados basados en 'A' (keep='last'):
   A  B  C
1  1  b  y
2  2  c  x
4  3  e  x

Finalmente, cuando se usa la opción keep=False se eliminan todos los registros duplicados y solamente quedan los valores únicos.

# Eliminamos todas las filas que contienen valores duplicados
df_sin_duplicados = df.drop_duplicates(subset=['A'], keep=False)

print("\nDataFrame sin duplicados basados en 'A' (keep=False):")
print(df_sin_duplicados)

DataFrame sin duplicados basados en 'A' (keep=False):
   A  B  C
2  2  c  x

Conclusiones

La eliminación de duplicados en DataFrames de Pandas es un proceso esencial para limpiar y preparar los datos antes de realizar múltiples análisis. En Pandas, el método drop_duplicates() con el que se puede abordar la mayoría de los casos. Un método que se puede eliminar cuando la fila es completamente idéntica o cuando solamente unos valores son idénticos. Finalmente, el parámetro keep permite seleccionar con precisión los registros que se desean conservar.

Imagen de Nick115 en Pixabay