Pandas: Omitir filas de un archivo CSV

Las funciones de Pandas para trabajar con archivos CSV nos ofrecen múltiples posibilidades que nos pueden facilitar las tareas con estos documentos. Una de estas funciones es la que permite eliminar algunas filas de un archivo CSV en Pandas.

Propiedades para omitir filas de un archivo CSV en Pandas

Básicamente existen dos propiedades con las que se pueden indicar a la función read_csv() omitir la carga de algunas filas de un archivo CSV en Pandas: skiprows y skipfooter.

La propiedad `skiprows`

Una propiedad interesante de la función read_csv() de Pandas es skiprows. Propiedad con la que es posible omitir algunas filas a la hora de importar un archivo CSV. En función del tipo de dato que reciba la propiedad tendremos un comportamiento diferente

entero: en el caso de que se asigne un valor entero a la propiedad se eliminará todas las filas hasta la indicada.
lista: al indicar una lista se eliminará las número de filas en las lista.
función: también se puede asignar una función, con las que se pueden crear reglas más complejas a la hora de omitir filas.

La propiedad `skipfooter`

Otra propiedad interes es skipfooter, con las que se puede omitir la carga de las últimas filas de un archivo CSV. A diferencia de skiprows está solo admite un valor entero, no es posible usar funciones ni listas. Además, es necesario indicar que el motor se Python, ya que no funciona con C.

Ejemplo de uso de `skiprows` y `skipfooter`

Para comprobar el funcionamiento de estos parámetros vamos a crear el mismo archivo que usamos cuando explicamos el fundamento de los archivos CSV en Python con Pandas. En concreto vamos a crear un archivo con el siguiente código:

import pandas as pd

data = {'first_name': ['Sigrid', 'Joe', 'Theodoric','Kennedy', 'Beatrix', 'Olimpia', 'Grange', 'Sallee'],
        'last_name': ['Mannock', 'Hinners', 'Rivers', 'Donnell', 'Parlett', 'Guenther', 'Douce', 'Johnstone'],
        'age': [27, 31, 36, 53, 48, 36, 40, 34],
        'amount_1': [7.17, 1.90, 1.11, 1.41, 6.69, 4.62, 1.01, 4.88],
        'amount_2': [8.06,  "?", 5.90,  "?",  "?", 7.48, 4.37,  "?"]}

df = pd.DataFrame(data, columns = ['first_name', 'last_name', 'age', 'amount_1', 'amount_2'])
df.to_csv('example.csv', index=False)

Archivo que podemos importar con read_csv().

pd.read_csv('example.csv')

  first_name  last_name  age  amount_1 amount_2
0     Sigrid    Mannock   27      7.17     8.06
1        Joe    Hinners   31      1.90        ?
2  Theodoric     Rivers   36      1.11      5.9
3    Kennedy    Donnell   53      1.41        ?
4    Beatrix    Parlett   48      6.69        ?
5    Olimpia   Guenther   36      4.62     7.48
6     Grange      Douce   40      1.01     4.37
7     Sallee  Johnstone   34      4.88        ?

Omitir la carga de las primeras filas

En primer lugar, podemos ver los datos que se importaban si le indicamos mediante skiprows que se omitan las cinco primeras filas.

pd.read_csv('example.csv', header=None, skiprows=5)

         0          1   2     3     4
0  Beatrix    Parlett  48  6.69     ?
1  Olimpia   Guenther  36  4.62  7.48
2   Grange      Douce  40  1.01  4.37
3   Sallee  Johnstone  34  4.88     ?

En este caso podemos ver que son las cinco primeras líneas incluyendo la cabecera. Por lo que, en el archivo que tenemos, tenemos que omitir la carga de esta ya que en caso contrario los nombres de las columnas del DataFrame serian el contenido de primera columna en importar.

Omitir la carga de una serie de filas

La segunda opción para el método skiprows es usar una lista. En cuyo caso se eliminarán solamente las líneas indicadas. Teniendo en cuenta que la cabecera, en caso de que el archivo la contenga, es línea cero. Por eso en nuestro ejemplo, la primera fila de datos es la 1.

pd.read_csv('example.csv', skiprows=(1, 3, 6))

  first_name last_name  age  amount_1 amount_2
0     Sigrid   Mannock   27      7.17     8.06
1        Joe   Hinners   31      1.90        ?
2  Theodoric    Rivers   36      1.11      5.9
3    Kennedy   Donnell   53      1.41        ?
4    Beatrix   Parlett   48      6.69        ?

Creación de una regla compleja

Finalmente la última opción para skiprows es usar una función. Una función a la cual le llega un único parámetro que es el número de fila y tiene que devolver un valor verdadero o falso para indicar si la línea se importa o no. Pudiéndose construir así reglas tan complejas como sea necesario. Por ejemplo, para importar la cabecera y las líneas pares se puede usar.

def age(row):
    if row == 0:
        return False
    else:
        return row % 2 == 0

pd.read_csv('example.csv', header=None, skiprows=age)

  first_name last_name  age  amount_1 amount_2
0     Sigrid   Mannock   27      7.17     8.06
1  Theodoric    Rivers   36      1.11      5.9
2    Beatrix   Parlett   48      6.69        ?
3     Grange     Douce   40      1.01     4.37

Eliminar las últimas filas

En el caso de que deseemos eliminar las últimas filas se puede usar skipfooter teniendo en cuenta que no se le puede pasar una lista o una función. Además de ser necesario inidcar que se use el motor de Python, ya que no funciona con C. Así para eliminar las últimas cinco filas se puede hacer.

pd.read_csv('example.csv', skipfooter=5, engine='python')

  first_name last_name  age  amount_1 amount_2
0     Sigrid   Mannock   27      7.17     8.06
1        Joe   Hinners   31      1.90        ?
2  Theodoric    Rivers   36      1.11      5.9
3    Kennedy   Donnell   53      1.41        ?
4    Beatrix   Parlett   48      6.69        ?

Conclusiones

En esta ocasión hemos visto cómo se puede usar las propiedades skiprows y skipfooter para omitir la carga de algunas filas de un archivo CSV en Pandas. Algo que en ciertas ocasiones puede ser de gran utilidad, evitando la carga de datos que no son necesarios, pero se encuentran en el archivo.