Procesado de archivos CSV enormes en Python

La librearía pandas de Python ofrece una colección de fantásticas herramientas para la manipulación y análisis de datos. Siendo una de las piezas clave de la enorme popularidad de Python entre los científicos de datos. Pero los objetos de pandas se manejan en memoria y, por lo tanto, cuando el tamaño de los datos crece es complicado poder trabajar con ellos. Por ejemplo, cuando se importan archivos de datos enormes. En el caso de los archivos CSV existe una opción con la que es posible importar estos en pequeñas partes. Permitiendo procesar archivos que de otra forma no cabrían en la memoria disponible. En esta entrada se va a explicar cómo procesar archivos CSV enormes en Python.

Importación de archivos CSV con pandas

En una entrada anterior se ha visto cómo procesar archivos CSV en Python con pandas. Para lo que se utiliza la función read_csv. A la que solamente es necesario indicarle la ruta al archivo para obtener un DataFrame con el contenido de este.

import pandas as pd

df = pd.read_csv('reviews.csv')

Archivos CSV enormes en Python con pandas

Al trabajar con archivos demasiado grandes, de varias gigas. El contenido del archivo puede no caber de una sola vez en la memoria del ordenador. Por lo que la mejor solución es cargar los datos por partes. Para ello existe una propiedad en la función read_csv que permite indicar el número de filas máximas que se cargaran de una vez. Esta propiedad es chunksize.

En Analytics Lane

Nuevo test de normalidad interactivo en el laboratorio de Analytics Lane

Al indicar un valor a la propiedad chunksize esencialmente se fija el número de máximo de filas que se importarán en un DataFrame. Permitiendo así importar el archivo en varios pasos de modo que los datos puedan ser gestionados en la memoria. Por ejemplo, para el archivo de revisiones importar indicado que se cargue un millón de registros cada vez mediante.

size = 1000000
df_chunk = pd.read_csv('reviews.csv', chunksize=size)

Filtrado de los datos

En el ejemplo anterior df_chunk es un objeto sobre el que se puede iterar para obtener los diferentes DataFrames con un millón de registros cada uno. Así se pueden aplicar filtros para trabajar solamente con un subconjunto. Por ejemplo, las revisiones con valores mayores que tres se pueden seleccionar mediante el siguiente código.

chunk_list = []

for chunk in df_chunk:  
    # Datos con review mayor que 3
    chunk_filter = chunk[chunk['review'] > 3]
    
    # Añadir los datos a la lista de objetos
    chunk_list.append(chunk_filter)
    
# Concatenar los datos filtrados en un DataFrame 
df = pd.concat(chunk_list)

En el código lo primero que se ha creado es una lista vacía para almacenar los datos. Posteriormente se itera sobre df_chunk, obteniendo en cada uno de los pasos un DataFrames con un millón de registros. En cada uno de estos se seleccionan solamente los casos donde la revisión supera el tres. Agregando el resultado a la lista.

Finalmente, una vez importados todos los DataFrames se pueden concatenar en uno con el resultado.

Almacenar los resultados en un archivo

Si aún así los datos no caben en memoria siempre se puede guardar en un archivo CSV. Esto se puede conseguir guardando los datos en el un archivo CSV en modo “append” (adjuntar) y sin cabecera. Al seleccionar el modo cada vez se agregan los nuevos registros al archivo existente. Por otro lado, únicamente se debe utilizar la primera vez, ya que de otro modo esta aparecerá múltiples veces en el archivo. Esto se puede ver en el siguiente ejemplo.

size = 1000000
df_chunk = pd.read_csv('reviews.csv', chunksize=size)
header = True

for chunk in df_chunk:
    chunk_filter = chunk[chunk['review'] > 3]
    chunk_filter.to_csv('out.csv', header=header, mode='a')
    header = False

Conclusiones

En esta entrada se visto cómo procesar archivos CSV enormes en Python con pandas. Para ello es necesario solamente es necesario utilizar la propiedad chunksize e iterar sobre los resultados. Permitiendo así procesar el contenido de archivos CSV con gigas de datos en ordenadores sin la necesidad de instalar memoria RAM en el ordenador.

Imágenes: Pixabay (A_Different_Perspective)