• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Identificar y eliminar columnas duplicadas en Pandas

mayo 24, 2021 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 4 minutos

En los DataFrames de Pandas existe el método duplicated() con el que se pueden eliminar los registros duplicados de un DataFrame. Pero no es así para el caso de las columnas duplicadas. De modo que, en el caso querer comprobar la existencia de columnas duplicadas en un DataFrame es necesario programar el proceso de forma manual. Lo mismo en el caso de querer eliminar esta información redundante.

Creación de un conjunto de datos

En primer lugar, es necesario crear un conjunto de datos con columnas duplicadas, para lo que se puede recurrir duplicar valores en uno de los conjuntos de datos empleados habitualmente en el blog. Lo que se muestra en las siguientes líneas de código.

import pandas as pd

users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
         'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'age': [27, 41, 29, 29, 21, 33],
         'gender': ['Male', 'Female', 'Female', 'Male', 'Male', 'Female'],
         'years': [27, 41, 29, 29, 21, 33],
         'surname': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'sales': [12, 41, 29, 12, 21, 22],
         'time': [27, 41, 29, 29, 21, 33]}

df = pd.DataFrame(users)
   first_name  last_name  age  gender  years    surname  sales  time
0  Montgomery      Humes   27    Male     27      Humes     12    27
1      Dagmar     Elstow   41  Female     41     Elstow     41    41
2       Reeba  Wattisham   29  Female     29  Wattisham     29    29
3      Shalom       Alen   29    Male     29       Alen     12    29
4      Broddy  Keningham   21    Male     21  Keningham     21    21
5     Aurelia    Brechin   33  Female     33    Brechin     22    33

Obteniendo un objeto en el cual las columnas years, surname y time son copias de age y last_name.

Identificar columnas duplicadas en Pandas

Una forma de comprobar la existencia de columnas duplicadas en DataFrames de Pandas es iterando sobre estas y usar el método equals(). Método que indica si el contenido de dos series es idéntico. En el caso de que se observe una coincidencia, solamente se tendría que guardar el valor de columna duplicada para posteriormente llevar a cabo las acciones que sean necesarias, como puede ser su eliminación.

Lo que se puede conseguir mediante el siguiente código.

Publicidad


import numpy as np

duplicates = []


for col in range(df.shape[1]):
    contents = df.iloc[:, col]
    
    for comp in range(col + 1, df.shape[1]):
        if contents.equals(df.iloc[:, comp]):
            duplicates.append(comp)

duplicates = np.unique(duplicates).tolist()
[4, 5, 7]

En este código inicialmente se crea una lista vacía en la que se almacenarán los valores duplicados. Para obtener estos, en primer lugar, se iterar sobre todas las columnas del objeto, guardando en cada iteración el contenido en la variable contents. Ahora, en un segundo bucle, se itera sobre las columnas posteriores a la del primer bucle comprobando si el contenido de estas condice con el de la anterior. Usando para ello el método equals() de contents. En caso afirmativo, el contenido de la columna es el mismo, se agrega el contenido a la lista de duplicados.

Finalmente, mediante el uso de np.unique() se pueden eliminar las columnas que están duplicadas más de una vez. Algo que se observa en el conjunto de datos de ejemplo. Aunque este proceso no es necesario para posteriormente eliminar las columnas.

Eliminar columnas duplicadas en Pandas

Ahora que se dispone de un listado de las columnas duplicadas se puede emplear el método drop() de los DataFrames para eliminar las estas. Aunque, como ya se explicó en una entrada anterior, este método requiere que se indique el nombre de la columna, no su posición. Problema que se puede solucionar fácilmente obteniendo los nombres. Así, para eliminar las columnas duplicadas solamente se tendría que hacer.

df.drop(df.columns[duplicates], axis=1)
   first_name  last_name  age  gender  sales
0  Montgomery      Humes   27    Male     12
1      Dagmar     Elstow   41  Female     41
2       Reeba  Wattisham   29  Female     29
3      Shalom       Alen   29    Male     12
4      Broddy  Keningham   21    Male     21
5     Aurelia    Brechin   33  Female     22

Obteniendo un nuevo DataFrame sin la información redundante.

Uso de listas por comprensión

Las columnas duplicadas también se pueden obtener mediante listar por compresión. Aunque el código resultante es menos legible que el anterior. Pudiéndose obtener la lista de duplicados simplemente mediante la siguiente línea.

Publicidad


duplicates = [b for a in range(df.shape[1]) for b in range(a + 1, df.shape[1]) if df.iloc[:, a].equals(df.iloc[:, b])]
df.drop(df.columns[duplicates], axis=1)

Factorización del código

Es posible que usemos este código de forma habitual, por lo que es una buena idea crear unas funciones. Por ejemplo, se puede crear la función duplicated_columns() con la que se puedan identificar las columnas duplicadas en un DataFrame. Función en la que se pueden devolver los nombres o las posiciones de las columnas duplicadas. Otra función puede ser remove_duplicated_columns() mediante la cual se elimine los valores duplicados. Una implementación de esta función se puede ver en el siguiente código.

import numpy as np

def duplicated_columns(df, names=True):
    duplicates = []

    for col in range(df.shape[1]):
        for comp in range(col + 1, df.shape[1]):
            if df.iloc[:, col].equals(df.iloc[:, comp]):
                duplicates.append(comp)
    
    duplicates = np.unique(duplicates).tolist()
    
    if names:
        return df.columns[duplicates]
    else:
        return duplicates


def remove_duplicated_columns(df):
    duplicates = duplicated_columns(df)
    
    if len(duplicates) == 0:
        return df
    else:
        return df.drop(duplicates, axis=1)

Nótese que el método duplicated_columns() tiene una propiedad opcional names, cuyo valor por defecto es verdadero, para indicar si lo que se desea obtener es el nombre de columnas o las posiciones. Por lo que en la función remove_duplicated_columns ya no es necesario convertir los índices de en nombres a la hora de eliminar los datos.

Conclusiones

Aunque existe un método duplicated() para identificar las filas duplicadas de un DataFrame no es así para el caso de las columnas. En esta entrada hemos visto cómo se pueden identificar y eliminar columnas duplicadas en Pandas, para lo que incluso se han creado un par de funciones que pueden ser de interés en nuestro día a día.

Imagen de fotokrug en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

Publicidad


¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Truco Python: eliminar los valores duplicados de una lista en Python
    Truco Python: eliminar los valores duplicados de una lista…
  • pandas
    Pandas: Encontrar la posición y valores de máximos y mínimos…
  • Unir y combinar dataframes con pandas en Python
    Unir y combinar dataframes con pandas en Python
  • Uso de Pandas Query para filtrar datos de forma sencilla
    Uso de Pandas Query para filtrar datos de forma sencilla
  • pandas
    Obtener los primeros registros ordenados de un DataFrame…
  • pandas
    Pandas: Comprobar la existencia de valores en los DataFrame

Publicado en: Python Etiquetado como: Pandas

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • ¿Cómo cambiar el nombre de las columnas en Pandas? publicado el mayo 6, 2019 | en Python
  • Seleccionar filas y columnas en Pandas con iloc y loc publicado el junio 21, 2019 | en Python
  • ¿Cómo eliminar columnas y filas en un dataframe pandas? publicado el marzo 25, 2019 | en Python
  • Archivos Guardar y leer archivos CSV con Python publicado el junio 15, 2018 | en Python
  • Instantáneas de VirtualBox (Snapshots) publicado el marzo 27, 2019 | en Herramientas

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto