Uso del método de Pandas diff() con cadenas de texto

El método diff() de Pandas permite obtener la diferencia entre los valores de un registro y el siguiente para todos una serie. Aunque solamente funciona cuando las series contienen valores de tipo numérico o fecha, no cadenas de texto. Si se necesita saber cuándo los valores de una serie con texto cambian de un registro a al siguiente, será necesario crear un método equivalente a diff() con cadenas de texto.

El problema de diff() con cadenas de texto

Al importar el conjunto de datos planets de la librería Seaborn se obtiene un listado de exoplanetas con información como el método de descubrimiento, el número de planetas, el pedido orbital, la masa, la distancia y el año de descubrimiento.

import seaborn as sb

planets = sb.load_dataset('planets')
planets.head()

            method  number  orbital_period   mass  distance  year
0  Radial Velocity       1         269.300   7.10     77.40  2006
1  Radial Velocity       1         874.774   2.21     56.95  2008
2  Radial Velocity       1         763.000   2.60     19.84  2011
3  Radial Velocity       1         326.030  19.40    110.62  2007
4  Radial Velocity       1         516.220  10.50    119.47  2009

Ahora se puede calcular los años que han pasado entre el descubrimiento de un planeta y el siguiente. Para ello solamente se tiene que usar el método diff() sobre la serie. Lo que se muestra en el siguiente ejemplo.

En Analytics Lane

Desbalanceo de Clases en Credit Scoring: Por Qué Usamos Ponderación en lugar de Undersampling

planets['year'].diff()

0       NaN
1       2.0
2       3.0
3      -4.0
4       2.0
       ... 
1030   -6.0
1031    1.0
1032    0.0
1033    1.0
1034    0.0
Name: year, Length: 1035, dtype: float64

Como los planetas no están ordenados por fecha, hay unos casos en los que los valores son positivos y otros negativos. Pero, si se quiere saber cuándo en los datos cambia el método de descubrimiento, no se puede usar diff() ya que produce un error.

planets['method'].diff()

TypeError: unsupported operand type(s) for -: 'str' and 'str'

Equivalente a diff() con cadenas de texto

La solución de este problema es sencilla, solamente es necesario ver cuando un registro es diferente del siguiente. Para ello se puede usar el método shift() para desplazar los datos una posición y bfill() para rellenar el primer registro. Si se omite bfill() el primer registro de la nueva serie será NaN y por lo tanto el resultado de la primera comparación siempre será verdadero. Ahora simplemente se tiene que comparar con la cadena original.

planets['method'] != planets['method'].shift().bfill()

0        True
1       False
2       False
3       False
4       False
        ...  
1030     True
1031    False
1032    False
1033    False
1034    False
Name: method, Length: 1035, dtype: bool

Una alternativa que es más eficiente y compacta es usar el método .ne() de las series que devuelve verdadero cuando los valores de dos series son diferentes y falso en el resto de los casos.

planets['method'].ne(planets['method'].shift().bfill())

Ambos métodos ofrecen el mismo resultado. Ahora se puede comprobar que los registros seleccionados en este caso cambian de método en cada paso.

planets.loc[planets['method'].ne(planets['method'].shift().bfill()), :].head()

                       method  number  orbital_period  mass  distance  year
29                    Imaging       1             NaN   NaN     45.52  2005
32  Eclipse Timing Variations       1         10220.0  6.05       NaN  2009
33                    Imaging       1             NaN   NaN       NaN  2008
37  Eclipse Timing Variations       2          5767.0   NaN    130.72  2008
45            Radial Velocity       1           380.8  1.80     20.21  2010

Conclusiones

El método diff() de Pandas no está pensado para trabajar con cadenas de texto. Aunque saber cuándo una etiqueta cambia en una serie es algo que puede ser necesario en muchos casos. Pero es algo que se puede solucionar fácilmente con el método shift() y una comparación de los registros.

Imagen de Ri Butov en Pixabay