Almacenar los datos de forma eficiente con Feather en Python

El formato de archivo CSV es uno de los más populares para el intercambio de datos. Lo que es debido a estar basado en un archivo de texto plano, por lo que puede ser interpretado prácticamente en cualquier sistema por cualquier programa. Aunque esto también es un problema, ya que un archivo CSV ocupa demasiado espacio y los procesos de lectura y escritura son lentos. Para solucionar este problema y realizar el intercambio de datos de una forma más eficiente se ha desarrollado el formato Feather. Un formato diseñado con la premisa de guardar los datos de los conjuntos de datos (Data Frames) de la manera más eficiente posible. Formato que también se puede usar en R o Julia. Permitiendo de este modo almacenar los datos de forma eficiente.

Feather en Pandas

Pandas cuenta con la función read_feather() y los objetos DataFrame cuentan con la propiedad. to_feather() gracias a las cuales es posible trabajar con Feather. Siendo el funcionamiento de ambos simular a uso de archivos CSV o Excel. Así para guardar un conjunto de datos en este formato solamente se debería escribir

df.to_feather('data.feather')

Asumiendo que df es un objeto DataFrame. Por otro lado, la importación de los datos desde el archivo se puede conseguir simplemente con

feather = pd.read_feather('data.feather')

Los Los métodos read_feather() y to_feather de Pandas usan por debajo el paquete pyarrow. Un paquete que puede trabajar con el formato Feather original o la segunda versión, a la que también se conoce cómo Apache Arrow. Por defecto, se usará la segunda versión del formato, ya que es la recomendable por ser la más eficiente. En el caso de que se desee trabajar con archivos de la primera versión, solo recomendable por temas de compatibilidad, se puede indicar asignando a la propiedad version el valor 1.

En Analytics Lane

Nuevo simulador FIRE en el laboratorio de aplicaciones de Analytics Lane

Ventajas del formato Feather sobre CSV

El uso de archivos Feather frente a CSV tiene dos importantes ventajas: un menor tamaño de los archivos y unos procesos de lectura y escritura más rápidos. Siendo ambas importantes cuando se trabaja con grandes conjuntos de datos.

El espacio que ocupa un archivo Feather es similar al que tendríamos después de comprimir el archivo CSV equivalente.

Comparación de del formato Feather con CSV y CSV comprimido

Para comparar los formatos se puede crear un conjunto de datos aleatorio y guardar los datos. Midiendo el tiempo que tarda Python en cada caso. Por ejemplo, se puede crear un conjunto de datos con 50 millones de registros y guardar estos en formato Feather, CSV y CSV comprimido. Algo que se puede hacer con el siguiente código.

import pandas as pd
import numpy as np
import time

cols = 5
rows = 1000000

np.random.seed(0)

df = pd.DataFrame(np.random.rand(rows, cols),
                  columns=["A", "B", "C", "D", "E"])

# feather
tic = time.process_time()
df.to_feather('data.feather')
feather_write = time.process_time() - tic

tic = time.process_time()
feather = pd.read_feather('data.feather')
feather_read = time.process_time() - tic

# CSV
tic = time.process_time()
df.to_csv('data.csv')
csv_write = time.process_time() - tic

tic = time.process_time()
csv = pd.read_csv('data.csv')
csv_read = time.process_time() - tic

# bz2
tic = time.process_time()
df.to_csv('data.csv.bz2', compression='bz2')
bz2_write = time.process_time() - tic

tic = time.process_time()
csv = pd.read_csv('data.csv.bz2', compression='bz2')
bz2_read = time.process_time() - tic

# Compara tiempos
times = pd.DataFrame({'write': [feather_write, csv_write, bz2_write],
                      'read': [feather_read, csv_read, bz2_read]},
                     index=['Feather', 'CSV', 'bz2'])

Obteniendo los siguientes resultados.

Lo primero que salta a la vista en esta tabla es el hecho de que guardar datos con Feather es dos órdenes de magnitud más rápido que CSV. Incluso más si se comprimen los datos, lo que es necesario para conseguir archivos del mismo tamaño. Por otro lado, el tiempo de lectura es un orden de magnitud menor en Feather, algo que también se nota cuando el archivo es grande.

En cuanto al tamaño del archivo también se puede ver que Feather es mucho más eficaz, incluso que un archivo CSV comprimido. Necesitando en este caso un tercio del tamaño necesario para guardar los datos en CSV. Aunque hay que tener en cuenta que, al ser los datos aleatorios, posiblemente el ahorro sea menor del que se obtendría habitualmente con datos reales. Esto es, se puede considerar este valor como un límite inferior.

Conclusiones

En esta ocasión hemos visto un formato para almacenar los datos de forma eficiente en Python. Un formato que es dos órdenes de magnitud más eficiente que CSV a la hora de escribir datos a discos y genera unos archivos que ocupan menos de un tercio. Lo que es interesante cuando se trabaja con grandes conjuntos de datos.

Una de las posibles desventajas de Feather sobre CSV es que no se puede editar el archivo con un editor de textos. Aunque esto es algo que rara vez se hace con archivos grandes, donde las ventajas de Feather se pueden apreciar.

Imagen de fernando zhiminaicela en Pixabay