Al tener dos conjuntos de datos en muchas ocasiones es necesario comparar su contenido. Para saber los registros comunes, los que se han eliminado o los que se han añadido a uno de los conjuntos de datos. En una base de datos esto es una tarea sencilla. En Python los objetos DataFrame dispone del método mergue con el que se puede operar de forma similar a una consulta SQL. Mediante el que es posible obtener tanto la unión como la intersección de conjuntos de datos. Lo que permite comparar los registros de dos dataframes con pandas.
Conjunto de datos de pruebas
Para evaluar las posibilidades del método merge es necesario disponer de un par de conjunto de datos. A continuación, se ha generado dos dataframes con los datos de unos archivos. Estos contienen la fecha de modificación, el nombre del archivo, el tamaño y su hash MD5.
import pandas as pd
files_1 = pd.DataFrame([["20/02/2019", "RutrumAc.gif", 219, "bb3f4d720a56c1fea06f8ed61d2d280d"],
["20/02/2019", "DuiVel.avi", 233, "d0487dd6ac871f534f27b751ab1d19b0"],
["06/01/2019", "DisParturient.tiff", 184, "d3cc5726c760c084e9ae5d96ab77abc8"],
["22/02/2019", "SedAccumsanFelis.png", 128, "0035dc0b36335f72daf37e3ee249ae3a"],
["11/02/2019", "Id.jpeg", 106, "b30d21f70a7a243a3d2d75d0d75096f2"],
["29/01/2019", "RidiculusMus.mp3", 64, "4d14558d61f8bdb82a1bd88f3e452b94"]],
columns = ["date", "file", "size", "md5"])
files_2 = pd.DataFrame([["20/02/2019", "RutrumAc.gif", 219, "bb3f4d720a56c1fea06f8ed61d2d280d"],
["20/02/2019", "DuiVel.avi", 89,"2f01fa4808a3fa0c5e71401d269f2aa8"],
["29/01/2019", "RidiculusMus.mp3", 64, "4d14558d61f8bdb82a1bd88f3e452b94"],
["11/01/2019", "Sapien.jpeg", 140, "22a2441ec32b97d86a7ef8f2e8d747d2"],
["26/02/2019", "SemMauris.mp3", 169, "be4c1736150634f27e2ed956a9b1a1d0"],
["07/02/2019", "EstPhasellusSit.tiff", 194, "8df4bd43d73df7afcb96d3d13a3fcb44"],
["06/01/2019", "DisParturient.tiff", 184, "d3cc5726c760c084e9ae5d96ab77abc8"],
["22/02/2019", "SedAccumsanFelis.png", 128, "0035dc0b36335f72daf37e3ee249ae3a"]],
columns = ["date", "file", "size", "md5"])Registro comunes en dos objetos dataframe
El método merge de pandas permite unir dos dataframes de forma análoga a como se haría en una consulta SQL. Se utiliza en un objeto indicando el otro con el que se desea unir. Los métodos de unión se indican con la propiedad how y son equivalentes a los disponibles en las consultas SQL (left, right, outer o inner). Así para obtener un dataframe con los registros comunes de dos solamente se ha de llamar al método con el segundo objeto y la opción inner. Esto se puede ver en el siguiente ejemplo.
files_1.merge(files_2, how='inner')
date file size md5 0 20/02/2019 RutrumAc.gif 219 bb3f4d720a56c1fea06f8ed61d2d280d 1 06/01/2019 DisParturient.tiff 184 d3cc5726c760c084e9ae5d96ab77abc8 2 22/02/2019 SedAccumsanFelis.png 128 0035dc0b36335f72daf37e3ee249ae3a 3 29/01/2019 RidiculusMus.mp3 64 4d14558d61f8bdb82a1bd88f3e452b94
El nuevo objeto solamente contiene cuatro archivos, los que son comunes en ambos.
Registros diferentes de dos dataframes pandas
El método merge dispone de una propiedad interesante con la que se puede conocer el origen de cada uno de los registros. Esta es indicator. Por defecto el valor es falso, pero si se le da el valor verdadero o un nombre crear una nueva columna en el dataframe resultante. Por defecto, si se le da el valor verdadero el nombre de la nueva columna es _merge, en caso contrario el nombre. Los posibles valores de esta columna son:
both: son los valores que provienen de ambos dataframes,left_only: éstos son los valores provienen únicamente del primer dataframe oright_only: éstos son los valores provienen únicamente del segundo dataframe.
En el siguiente ejemplo se utiliza esta opción para unir los dos dataframes y saber la procedencia de cada registro. Para que sea de interés el resultado el método de unión seleccionado en este caso es outer.
files_1.merge(files_2, how='outer', indicator='union')
date file size md5 union 0 20/02/2019 RutrumAc.gif 219 bb3f4d720a56c1fea06f8ed61d2d280d both 1 20/02/2019 DuiVel.avi 233 d0487dd6ac871f534f27b751ab1d19b0 left_only 2 06/01/2019 DisParturient.tiff 184 d3cc5726c760c084e9ae5d96ab77abc8 both 3 22/02/2019 SedAccumsanFelis.png 128 0035dc0b36335f72daf37e3ee249ae3a both 4 11/02/2019 Id.jpeg 106 b30d21f70a7a243a3d2d75d0d75096f2 left_only 5 29/01/2019 RidiculusMus.mp3 64 4d14558d61f8bdb82a1bd88f3e452b94 both 6 20/02/2019 DuiVel.avi 89 2f01fa4808a3fa0c5e71401d269f2aa8 right_only 7 11/01/2019 Sapien.jpeg 140 22a2441ec32b97d86a7ef8f2e8d747d2 right_only 8 26/02/2019 SemMauris.mp3 169 be4c1736150634f27e2ed956a9b1a1d0 right_only 9 07/02/2019 EstPhasellusSit.tiff 194 8df4bd43d73df7afcb96d3d13a3fcb44 right_only
Al ejecutar el método se puede observar que hay cuatro registros comunes, dos que se encuentra solo el primero y cuatro sólo el segundo. Así, los archivos eliminados son dos, los que solo está en el primero, y los nuevos son cuatro. Esto se puede ver en el siguiente ejemplo.
df = files_1.merge(files_2, how='outer', indicator='union') df[df.union=='left_only']
date file size md5 union 1 20/02/2019 DuiVel.avi 233 d0487dd6ac871f534f27b751ab1d19b0 left_only 4 11/02/2019 Id.jpeg 106 b30d21f70a7a243a3d2d75d0d75096f2 left_only
Conclusiones
En esta entrada se ha visto cómo utilizar el método merge para comparar los registros de dos dataframes con pandas. El listado de registros comunes se puede obtener fácilmente. Para obtener los registros nuevos o los eliminados se ha utilizado la propiedad indicator. La cual indica la procedencia de cada registro.
Imágenes: Pixabay (Pexels)
Deja una respuesta