Comparar los registros de dos dataframes con pandas

Al tener dos conjuntos de datos en muchas ocasiones es necesario comparar su contenido. Para saber los registros comunes, los que se han eliminado o los que se han añadido a uno de los conjuntos de datos. En una base de datos esto es una tarea sencilla. En Python los objetos DataFrame dispone del método mergue con el que se puede operar de forma similar a una consulta SQL. Mediante el que es posible obtener tanto la unión como la intersección de conjuntos de datos. Lo que permite comparar los registros de dos dataframes con pandas.

Conjunto de datos de pruebas

Para evaluar las posibilidades del método merge es necesario disponer de un par de conjunto de datos. A continuación, se ha generado dos dataframes con los datos de unos archivos. Estos contienen la fecha de modificación, el nombre del archivo, el tamaño y su hash MD5.

import pandas as pd

files_1 = pd.DataFrame([["20/02/2019", "RutrumAc.gif", 219, "bb3f4d720a56c1fea06f8ed61d2d280d"],
                        ["20/02/2019", "DuiVel.avi", 233, "d0487dd6ac871f534f27b751ab1d19b0"],
                        ["06/01/2019", "DisParturient.tiff", 184, "d3cc5726c760c084e9ae5d96ab77abc8"],
                        ["22/02/2019", "SedAccumsanFelis.png", 128, "0035dc0b36335f72daf37e3ee249ae3a"],
                        ["11/02/2019", "Id.jpeg", 106, "b30d21f70a7a243a3d2d75d0d75096f2"],
                        ["29/01/2019", "RidiculusMus.mp3", 64, "4d14558d61f8bdb82a1bd88f3e452b94"]],
                       columns = ["date", "file", "size", "md5"])

files_2 = pd.DataFrame([["20/02/2019", "RutrumAc.gif", 219, "bb3f4d720a56c1fea06f8ed61d2d280d"],
                        ["20/02/2019", "DuiVel.avi", 89,"2f01fa4808a3fa0c5e71401d269f2aa8"],
                        ["29/01/2019", "RidiculusMus.mp3", 64, "4d14558d61f8bdb82a1bd88f3e452b94"],
                        ["11/01/2019", "Sapien.jpeg", 140, "22a2441ec32b97d86a7ef8f2e8d747d2"],
                        ["26/02/2019", "SemMauris.mp3", 169, "be4c1736150634f27e2ed956a9b1a1d0"],
                        ["07/02/2019", "EstPhasellusSit.tiff", 194, "8df4bd43d73df7afcb96d3d13a3fcb44"],
                        ["06/01/2019", "DisParturient.tiff", 184, "d3cc5726c760c084e9ae5d96ab77abc8"],
                        ["22/02/2019", "SedAccumsanFelis.png", 128, "0035dc0b36335f72daf37e3ee249ae3a"]],
                       columns = ["date", "file", "size", "md5"])

Registro comunes en dos objetos dataframe

El método merge de pandas permite unir dos dataframes de forma análoga a como se haría en una consulta SQL. Se utiliza en un objeto indicando el otro con el que se desea unir. Los métodos de unión se indican con la propiedad how y son equivalentes a los disponibles en las consultas SQL (left, right, outer o inner). Así para obtener un dataframe con los registros comunes de dos solamente se ha de llamar al método con el segundo objeto y la opción inner. Esto se puede ver en el siguiente ejemplo.

files_1.merge(files_2, how='inner')
         date                  file  size                               md5
0  20/02/2019          RutrumAc.gif   219  bb3f4d720a56c1fea06f8ed61d2d280d
1  06/01/2019    DisParturient.tiff   184  d3cc5726c760c084e9ae5d96ab77abc8
2  22/02/2019  SedAccumsanFelis.png   128  0035dc0b36335f72daf37e3ee249ae3a
3  29/01/2019      RidiculusMus.mp3    64  4d14558d61f8bdb82a1bd88f3e452b94

El nuevo objeto solamente contiene cuatro archivos, los que son comunes en ambos.

Registros diferentes de dos dataframes pandas

El método merge dispone de una propiedad interesante con la que se puede conocer el origen de cada uno de los registros. Esta es indicator. Por defecto el valor es falso, pero si se le da el valor verdadero o un nombre crear una nueva columna en el dataframe resultante. Por defecto, si se le da el valor verdadero el nombre de la nueva columna es _merge, en caso contrario el nombre. Los posibles valores de esta columna son:

  • both: son los valores que provienen de ambos dataframes,
  • left_only: éstos son los valores provienen únicamente del primer dataframe o
  • right_only: éstos son los valores provienen únicamente del segundo dataframe.

En el siguiente ejemplo se utiliza esta opción para unir los dos dataframes y saber la procedencia de cada registro. Para que sea de interés el resultado el método de unión seleccionado en este caso es outer.

files_1.merge(files_2, how='outer', indicator='union')
         date                  file  size                               md5       union  
0  20/02/2019          RutrumAc.gif   219  bb3f4d720a56c1fea06f8ed61d2d280d        both    
1  20/02/2019            DuiVel.avi   233  d0487dd6ac871f534f27b751ab1d19b0   left_only    
2  06/01/2019    DisParturient.tiff   184  d3cc5726c760c084e9ae5d96ab77abc8        both    
3  22/02/2019  SedAccumsanFelis.png   128  0035dc0b36335f72daf37e3ee249ae3a        both    
4  11/02/2019               Id.jpeg   106  b30d21f70a7a243a3d2d75d0d75096f2   left_only    
5  29/01/2019      RidiculusMus.mp3    64  4d14558d61f8bdb82a1bd88f3e452b94        both    
6  20/02/2019            DuiVel.avi    89  2f01fa4808a3fa0c5e71401d269f2aa8  right_only    
7  11/01/2019           Sapien.jpeg   140  22a2441ec32b97d86a7ef8f2e8d747d2  right_only    
8  26/02/2019         SemMauris.mp3   169  be4c1736150634f27e2ed956a9b1a1d0  right_only    
9  07/02/2019  EstPhasellusSit.tiff   194  8df4bd43d73df7afcb96d3d13a3fcb44  right_only  

Al ejecutar el método se puede observar que hay cuatro registros comunes, dos que se encuentra solo el primero y cuatro sólo el segundo. Así, los archivos eliminados son dos, los que solo está en el primero, y los nuevos son cuatro. Esto se puede ver en el siguiente ejemplo.

df = files_1.merge(files_2, how='outer', indicator='union')
df[df.union=='left_only']
         date        file  size                               md5      union
1  20/02/2019  DuiVel.avi   233  d0487dd6ac871f534f27b751ab1d19b0  left_only
4  11/02/2019     Id.jpeg   106  b30d21f70a7a243a3d2d75d0d75096f2  left_only

Conclusiones

En esta entrada se ha visto cómo utilizar el método merge para comparar los registros de dos dataframes con pandas. El listado de registros comunes se puede obtener fácilmente. Para obtener los registros nuevos o los eliminados se ha utilizado la propiedad indicator. La cual indica la procedencia de cada registro.

Imágenes: Pixabay (Pexels)

Sin votos
Por favor espera...

Suscríbete a nuestro boletín

Si te ha gustado el contenido puedes suscribirte al boletín semanal para recibir en su correo electrónico todas las novedades publicadas en Analytics Lane.
La dirección de correo suministradas se utilizará únicamente para enviar un correo semanal con las últimas publicaciones aparecidas en el blog. Los datos nunca serán utilizados para otros fines diferentes. Para más información puede consular nuestra Política de Privacidad.

Contenido relacionado

Etiquetas:

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *