Las funciones de Pandas para trabajar con archivos CSV nos ofrecen múltiples posibilidades que nos pueden facilitar las tareas con estos documentos. Una de estas funciones es la que permite eliminar algunas filas de un archivo CSV en Pandas.
Tabla de contenidos
Propiedades para omitir filas de un archivo CSV en Pandas
Básicamente existen dos propiedades con las que se pueden indicar a la función read_csv() omitir la carga de algunas filas de un archivo CSV en Pandas: skiprows y skipfooter.
La propiedad skiprows
Una propiedad interesante de la función read_csv() de Pandas es skiprows. Propiedad con la que es posible omitir algunas filas a la hora de importar un archivo CSV. En función del tipo de dato que reciba la propiedad tendremos un comportamiento diferente
- entero: en el caso de que se asigne un valor entero a la propiedad se eliminará todas las filas hasta la indicada.
- lista: al indicar una lista se eliminará las número de filas en las lista.
- función: también se puede asignar una función, con las que se pueden crear reglas más complejas a la hora de omitir filas.
Otra propiedad interes es skipfooter, con las que se puede omitir la carga de las últimas filas de un archivo CSV. A diferencia de skiprows está solo admite un valor entero, no es posible usar funciones ni listas. Además, es necesario indicar que el motor se Python, ya que no funciona con C.
Para comprobar el funcionamiento de estos parámetros vamos a crear el mismo archivo que usamos cuando explicamos el fundamento de los archivos CSV en Python con Pandas. En concreto vamos a crear un archivo con el siguiente código:
import pandas as pd
data = {'first_name': ['Sigrid', 'Joe', 'Theodoric','Kennedy', 'Beatrix', 'Olimpia', 'Grange', 'Sallee'],
'last_name': ['Mannock', 'Hinners', 'Rivers', 'Donnell', 'Parlett', 'Guenther', 'Douce', 'Johnstone'],
'age': [27, 31, 36, 53, 48, 36, 40, 34],
'amount_1': [7.17, 1.90, 1.11, 1.41, 6.69, 4.62, 1.01, 4.88],
'amount_2': [8.06, "?", 5.90, "?", "?", 7.48, 4.37, "?"]}
df = pd.DataFrame(data, columns = ['first_name', 'last_name', 'age', 'amount_1', 'amount_2'])
df.to_csv('example.csv', index=False)Archivo que podemos importar con read_csv().
pd.read_csv('example.csv')first_name last_name age amount_1 amount_2 0 Sigrid Mannock 27 7.17 8.06 1 Joe Hinners 31 1.90 ? 2 Theodoric Rivers 36 1.11 5.9 3 Kennedy Donnell 53 1.41 ? 4 Beatrix Parlett 48 6.69 ? 5 Olimpia Guenther 36 4.62 7.48 6 Grange Douce 40 1.01 4.37 7 Sallee Johnstone 34 4.88 ?
Omitir la carga de las primeras filas
En primer lugar, podemos ver los datos que se importaban si le indicamos mediante skiprows que se omitan las cinco primeras filas.
pd.read_csv('example.csv', header=None, skiprows=5)0 1 2 3 4 0 Beatrix Parlett 48 6.69 ? 1 Olimpia Guenther 36 4.62 7.48 2 Grange Douce 40 1.01 4.37 3 Sallee Johnstone 34 4.88 ?
En este caso podemos ver que son las cinco primeras líneas incluyendo la cabecera. Por lo que, en el archivo que tenemos, tenemos que omitir la carga de esta ya que en caso contrario los nombres de las columnas del DataFrame serian el contenido de primera columna en importar.
Omitir la carga de una serie de filas
La segunda opción para el método skiprows es usar una lista. En cuyo caso se eliminarán solamente las líneas indicadas. Teniendo en cuenta que la cabecera, en caso de que el archivo la contenga, es línea cero. Por eso en nuestro ejemplo, la primera fila de datos es la 1.
pd.read_csv('example.csv', skiprows=(1, 3, 6))first_name last_name age amount_1 amount_2 0 Sigrid Mannock 27 7.17 8.06 1 Joe Hinners 31 1.90 ? 2 Theodoric Rivers 36 1.11 5.9 3 Kennedy Donnell 53 1.41 ? 4 Beatrix Parlett 48 6.69 ?
Creación de una regla compleja
Finalmente la última opción para skiprows es usar una función. Una función a la cual le llega un único parámetro que es el número de fila y tiene que devolver un valor verdadero o falso para indicar si la línea se importa o no. Pudiéndose construir así reglas tan complejas como sea necesario. Por ejemplo, para importar la cabecera y las líneas pares se puede usar.
def age(row):
if row == 0:
return False
else:
return row % 2 == 0
pd.read_csv('example.csv', header=None, skiprows=age)first_name last_name age amount_1 amount_2 0 Sigrid Mannock 27 7.17 8.06 1 Theodoric Rivers 36 1.11 5.9 2 Beatrix Parlett 48 6.69 ? 3 Grange Douce 40 1.01 4.37
Eliminar las últimas filas
En el caso de que deseemos eliminar las últimas filas se puede usar skipfooter teniendo en cuenta que no se le puede pasar una lista o una función. Además de ser necesario inidcar que se use el motor de Python, ya que no funciona con C. Así para eliminar las últimas cinco filas se puede hacer.
pd.read_csv('example.csv', skipfooter=5, engine='python')first_name last_name age amount_1 amount_2 0 Sigrid Mannock 27 7.17 8.06 1 Joe Hinners 31 1.90 ? 2 Theodoric Rivers 36 1.11 5.9 3 Kennedy Donnell 53 1.41 ? 4 Beatrix Parlett 48 6.69 ?
Conclusiones
En esta ocasión hemos visto cómo se puede usar las propiedades skiprows y skipfooter para omitir la carga de algunas filas de un archivo CSV en Pandas. Algo que en ciertas ocasiones puede ser de gran utilidad, evitando la carga de datos que no son necesarios, pero se encuentran en el archivo.
Deja una respuesta