• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Laboratorio
    • Estadística
      • Calculadora del Tamaño Muestral en Encuestas
      • Calculadora de estadísticos descriptivos
      • Test de normalidad
      • Calculadora de contrastes de hipotesis
      • Calculadora de tamano del efecto
      • Simulador de Regresión Lineal con Ruido
      • Descenso de gradiente
      • Visualizador de PCA
      • Visualizador de Series Temporales
      • Simulador de Regresión Logística
      • Matriz de confusión e informe de clasificación
      • Visualizador de fronteras de decisión
      • Simulador de K-Means
      • Número Óptimo de Clusters
      • Simulador de DBSCAN
      • Detector de la Ley de Benford
      • Ajuste de Curvas
      • Calculadora de Matrices
    • Probabilidad
      • Calculadora de Probabilidad de Distribuciones
      • Problema del cumpleaños
      • Calculadora de Probabilidades de Lotería
      • Simulador del Problema de Monty Hall
      • La aguja de Buffon
      • Simulador de la Estrategia Martingala
      • Simulador de Cadenas de Markov
    • Finanzas
      • Calculadora de Préstamos e Hipotecas
      • Conversor TIN ↔ TAE
      • Calculadora DCA con ajuste por inflación
      • Comparador de tarifas de luz 2.0TD
      • Calculadora XIRR con Flujos Irregulares
      • Simulador FIRE (Financial Independence, Retire Early)
      • Frontera Eficiente
    • Negocios
      • CLV
      • Scoring
    • Herramientas
      • Formateador / Minificador de JSON
      • Conversor CSV ↔ JSON
      • Consultar CSV con SQL en el navegador
      • Extractor de tickets (OCR)
      • Comparador y Formateador de Texto y JSON
      • Formateador y Tester de Expresiones Regulares
      • Inspector de JWT
      • Generador y verificador de hashes
      • Calculadora HMAC
      • Codificador / Decodificador Base64 y URL
      • Conversor de bases numericas
      • Conversor de Timestamp Unix
      • Conversor de colores
      • Generador de UUIDs
      • Editor de expresiones cron
      • Conversor de unidades
    • Juegos
      • Tres en Raya
      • Nim con Q-Learning
    • Más
      • Método D’Hondt
      • Generador de Contraseñas Seguras
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • IA Generativa
  • Python
  • Pandas
  • NumPy
  • R
  • Excel

Almacenar los datos de forma eficiente con Feather en Python

Apache Arrow, Pandas

octubre 25, 2021 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 4 minutos

El formato de archivo CSV es uno de los más populares para el intercambio de datos. Lo que es debido a estar basado en un archivo de texto plano, por lo que puede ser interpretado prácticamente en cualquier sistema por cualquier programa. Aunque esto también es un problema, ya que un archivo CSV ocupa demasiado espacio y los procesos de lectura y escritura son lentos. Para solucionar este problema y realizar el intercambio de datos de una forma más eficiente se ha desarrollado el formato Feather. Un formato diseñado con la premisa de guardar los datos de los conjuntos de datos (Data Frames) de la manera más eficiente posible. Formato que también se puede usar en R o Julia. Permitiendo de este modo almacenar los datos de forma eficiente.

Feather en Pandas

Pandas cuenta con la función read_feather() y los objetos DataFrame cuentan con la propiedad. to_feather() gracias a las cuales es posible trabajar con Feather. Siendo el funcionamiento de ambos simular a uso de archivos CSV o Excel. Así para guardar un conjunto de datos en este formato solamente se debería escribir

df.to_feather('data.feather')

Asumiendo que df es un objeto DataFrame. Por otro lado, la importación de los datos desde el archivo se puede conseguir simplemente con

feather = pd.read_feather('data.feather')

Los Los métodos read_feather() y to_feather de Pandas usan por debajo el paquete pyarrow. Un paquete que puede trabajar con el formato Feather original o la segunda versión, a la que también se conoce cómo Apache Arrow. Por defecto, se usará la segunda versión del formato, ya que es la recomendable por ser la más eficiente. En el caso de que se desee trabajar con archivos de la primera versión, solo recomendable por temas de compatibilidad, se puede indicar asignando a la propiedad version el valor 1.

Shallow copy vs Deep copy en Python: la mutación inesperada
En Analytics Lane
Shallow copy vs Deep copy en Python: la mutación inesperada

Ventajas del formato Feather sobre CSV

El uso de archivos Feather frente a CSV tiene dos importantes ventajas: un menor tamaño de los archivos y unos procesos de lectura y escritura más rápidos. Siendo ambas importantes cuando se trabaja con grandes conjuntos de datos.

El espacio que ocupa un archivo Feather es similar al que tendríamos después de comprimir el archivo CSV equivalente.

Comparación de del formato Feather con CSV y CSV comprimido

Para comparar los formatos se puede crear un conjunto de datos aleatorio y guardar los datos. Midiendo el tiempo que tarda Python en cada caso. Por ejemplo, se puede crear un conjunto de datos con 50 millones de registros y guardar estos en formato Feather, CSV y CSV comprimido. Algo que se puede hacer con el siguiente código.

import pandas as pd
import numpy as np
import time

cols = 5
rows = 1000000

np.random.seed(0)

df = pd.DataFrame(np.random.rand(rows, cols),
                  columns=["A", "B", "C", "D", "E"])

# feather
tic = time.process_time()
df.to_feather('data.feather')
feather_write = time.process_time() - tic

tic = time.process_time()
feather = pd.read_feather('data.feather')
feather_read = time.process_time() - tic

# CSV
tic = time.process_time()
df.to_csv('data.csv')
csv_write = time.process_time() - tic

tic = time.process_time()
csv = pd.read_csv('data.csv')
csv_read = time.process_time() - tic

# bz2
tic = time.process_time()
df.to_csv('data.csv.bz2', compression='bz2')
bz2_write = time.process_time() - tic

tic = time.process_time()
csv = pd.read_csv('data.csv.bz2', compression='bz2')
bz2_read = time.process_time() - tic

# Compara tiempos
times = pd.DataFrame({'write': [feather_write, csv_write, bz2_write],
                      'read': [feather_read, csv_read, bz2_read]},
                     index=['Feather', 'CSV', 'bz2'])

Obteniendo los siguientes resultados.

FormatoEscritura (s)Lectura (s)Tamaño (MB)
Feather0,1470,09440
CSV10,1740,873103,2
bz219,8888,41441,4
Comparativa del tiempo necesario para escribir y leer el conjunto de datos en los diferentes formatos y tamaño del archivo resultante

Lo primero que salta a la vista en esta tabla es el hecho de que guardar datos con Feather es dos órdenes de magnitud más rápido que CSV. Incluso más si se comprimen los datos, lo que es necesario para conseguir archivos del mismo tamaño. Por otro lado, el tiempo de lectura es un orden de magnitud menor en Feather, algo que también se nota cuando el archivo es grande.

En cuanto al tamaño del archivo también se puede ver que Feather es mucho más eficaz, incluso que un archivo CSV comprimido. Necesitando en este caso un tercio del tamaño necesario para guardar los datos en CSV. Aunque hay que tener en cuenta que, al ser los datos aleatorios, posiblemente el ahorro sea menor del que se obtendría habitualmente con datos reales. Esto es, se puede considerar este valor como un límite inferior.

Conclusiones

En esta ocasión hemos visto un formato para almacenar los datos de forma eficiente en Python. Un formato que es dos órdenes de magnitud más eficiente que CSV a la hora de escribir datos a discos y genera unos archivos que ocupan menos de un tercio. Lo que es interesante cuando se trabaja con grandes conjuntos de datos.

Una de las posibles desventajas de Feather sobre CSV es que no se puede editar el archivo con un editor de textos. Aunque esto es algo que rara vez se hace con archivos grandes, donde las ventajas de Feather se pueden apreciar.

Imagen de fernando zhiminaicela en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Shallow copy vs Deep copy en Python: la mutación inesperada
  • Cómo Proyectar Cuándo Alcanzarás la Independencia Financiera
  • Cómo Saber si una Diferencia Significativa es Importante
  • Curiosidad: “Wi-Fi” no significa “Wireless Fidelity”
  • Cómo Elegir el Test de Hipótesis Correcto para tus Datos
  • Qué significa realmente “calidad de datos”
  • Tuplas vs Listas en Python: parecen lo mismo, pero no
  • == vs is en Python: la diferencia que causa bugs misteriosos
  • Curiosidad: El puerto 80 y los números de puerto

Publicidad

Publicado en: Python Etiquetado como: Apache Arrow, Pandas

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Bluesky
  • Facebook
  • GitHub
  • Instagram
  • Mastodon
  • Pinterest
  • RSS
  • Telegram
  • Tumblr
  • Twitter
  • YouTube

Publicidad

Entradas recientes

Curiosidad: “Wi-Fi” no significa “Wireless Fidelity”

noviembre 12, 2026 Por Daniel Rodríguez

Shallow copy vs Deep copy en Python: la mutación inesperada

noviembre 10, 2026 Por Daniel Rodríguez

Cómo Saber si una Diferencia Significativa es Importante

noviembre 5, 2026 Por Daniel Rodríguez

Publicidad

Es tendencia

  • Shallow copy vs Deep copy en Python: la mutación inesperada publicado el noviembre 10, 2026 | en Python
  • Codificación JSON Archivos JSON con Python: lectura y escritura publicado el julio 16, 2018 | en Python
  • Hoja de cálculo para repartir los escaños en base al método D’Hont Aplicar el método D’Hondt en Excel publicado el abril 14, 2021 | en Herramientas
  • Cómo iterar sobre diccionarios usando bucles for en Python publicado el junio 9, 2025 | en Python
  • pandas Pandas: Cómo iterar sobre las filas de un DataFrame en Pandas publicado el septiembre 13, 2021 | en Python

Publicidad

Lo mejor valorado

4.9 (24)

Seleccionar filas y columnas en Pandas con iloc y loc

4.6 (16)

Archivos JSON con Python: lectura y escritura

4.4 (14)

Ordenación de diccionarios en Python mediante clave o valor

4.7 (13)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.1 (11)

Aplicar el método D’Hondt en Excel

Comentarios recientes

  • Daniel Rodríguez en Curiosidad: La Paradoja de Simpson, o por qué no siempre debes fiarte de los promedios
  • Hatepi en Curiosidad: La Paradoja de Simpson, o por qué no siempre debes fiarte de los promedios
  • Daniel Rodríguez en Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)
  • Juan en Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)
  • bif en JSON en bases de datos: cuándo es buena idea y cuándo no

Publicidad


Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2026 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto