• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Laboratorio
    • Estadística
      • Calculadora del Tamaño Muestral en Encuestas
      • Calculadora de estadísticos descriptivos
      • Test de normalidad
      • Calculadora de contrastes de hipotesis
      • Calculadora de tamano del efecto
      • Simulador de Regresión Lineal con Ruido
      • Descenso de gradiente
      • Visualizador de PCA
      • Visualizador de Series Temporales
      • Simulador de Regresión Logística
      • Matriz de confusión e informe de clasificación
      • Visualizador de fronteras de decisión
      • Simulador de K-Means
      • Número Óptimo de Clusters
      • Simulador de DBSCAN
      • Detector de la Ley de Benford
      • Ajuste de Curvas
      • Calculadora de Matrices
    • Probabilidad
      • Calculadora de Probabilidad de Distribuciones
      • Problema del cumpleaños
      • Calculadora de Probabilidades de Lotería
      • Simulador del Problema de Monty Hall
      • La aguja de Buffon
      • Simulador de la Estrategia Martingala
      • Simulador de Cadenas de Markov
    • Finanzas
      • Calculadora de Préstamos e Hipotecas
      • Conversor TIN ↔ TAE
      • Calculadora DCA con ajuste por inflación
      • Comparador de tarifas de luz 2.0TD
      • Calculadora XIRR con Flujos Irregulares
      • Simulador FIRE (Financial Independence, Retire Early)
      • Frontera Eficiente
    • Negocios
      • CLV
      • Scoring
    • Herramientas
      • Formateador / Minificador de JSON
      • Conversor CSV ↔ JSON
      • Consultar CSV con SQL en el navegador
      • Extractor de tickets (OCR)
      • Comparador y Formateador de Texto y JSON
      • Formateador y Tester de Expresiones Regulares
      • Inspector de JWT
      • Generador y verificador de hashes
      • Calculadora HMAC
      • Codificador / Decodificador Base64 y URL
      • Conversor de bases numericas
      • Conversor de Timestamp Unix
      • Conversor de colores
      • Generador de UUIDs
      • Editor de expresiones cron
      • Conversor de unidades
    • Juegos
      • Tres en Raya
      • Nim con Q-Learning
    • Más
      • Método D’Hondt
      • Generador de Contraseñas Seguras
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • IA Generativa
  • Python
  • Pandas
  • NumPy
  • R
  • Excel

Procesado de archivos CSV enormes en Python

Pandas

mayo 17, 2019 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 3 minutos

La librearía pandas de Python ofrece una colección de fantásticas herramientas para la manipulación y análisis de datos. Siendo una de las piezas clave de la enorme popularidad de Python entre los científicos de datos. Pero los objetos de pandas se manejan en memoria y, por lo tanto, cuando el tamaño de los datos crece es complicado poder trabajar con ellos. Por ejemplo, cuando se importan archivos de datos enormes. En el caso de los archivos CSV existe una opción con la que es posible importar estos en pequeñas partes. Permitiendo procesar archivos que de otra forma no cabrían en la memoria disponible. En esta entrada se va a explicar cómo procesar archivos CSV enormes en Python.

Importación de archivos CSV con pandas

En una entrada anterior se ha visto cómo procesar archivos CSV en Python con pandas. Para lo que se utiliza la función read_csv. A la que solamente es necesario indicarle la ruta al archivo para obtener un DataFrame con el contenido de este.

import pandas as pd

df = pd.read_csv('reviews.csv')

Archivos CSV enormes en Python con pandas

Al trabajar con archivos demasiado grandes, de varias gigas. El contenido del archivo puede no caber de una sola vez en la memoria del ordenador. Por lo que la mejor solución es cargar los datos por partes. Para ello existe una propiedad en la función read_csv que permite indicar el número de filas máximas que se cargaran de una vez. Esta propiedad es chunksize.

Shallow copy vs Deep copy en Python: la mutación inesperada
En Analytics Lane
Shallow copy vs Deep copy en Python: la mutación inesperada

Al indicar un valor a la propiedad chunksize esencialmente se fija el número de máximo de filas que se importarán en un DataFrame. Permitiendo así importar el archivo en varios pasos de modo que los datos puedan ser gestionados en la memoria. Por ejemplo, para el archivo de revisiones importar indicado que se cargue un millón de registros cada vez mediante.

size = 1000000
df_chunk = pd.read_csv('reviews.csv', chunksize=size)

Filtrado de los datos

En el ejemplo anterior df_chunk es un objeto sobre el que se puede iterar para obtener los diferentes DataFrames con un millón de registros cada uno. Así se pueden aplicar filtros para trabajar solamente con un subconjunto. Por ejemplo, las revisiones con valores mayores que tres se pueden seleccionar mediante el siguiente código.

chunk_list = []

for chunk in df_chunk:  
    # Datos con review mayor que 3
    chunk_filter = chunk[chunk['review'] > 3]
    
    # Añadir los datos a la lista de objetos
    chunk_list.append(chunk_filter)
    
# Concatenar los datos filtrados en un DataFrame 
df = pd.concat(chunk_list)

En el código lo primero que se ha creado es una lista vacía para almacenar los datos. Posteriormente se itera sobre df_chunk, obteniendo en cada uno de los pasos un DataFrames con un millón de registros. En cada uno de estos se seleccionan solamente los casos donde la revisión supera el tres. Agregando el resultado a la lista.

Finalmente, una vez importados todos los DataFrames se pueden concatenar en uno con el resultado.

Almacenar los resultados en un archivo

Si aún así los datos no caben en memoria siempre se puede guardar en un archivo CSV. Esto se puede conseguir guardando los datos en el un archivo CSV en modo “append” (adjuntar) y sin cabecera. Al seleccionar el modo cada vez se agregan los nuevos registros al archivo existente. Por otro lado, únicamente se debe utilizar la primera vez, ya que de otro modo esta aparecerá múltiples veces en el archivo. Esto se puede ver en el siguiente ejemplo.

size = 1000000
df_chunk = pd.read_csv('reviews.csv', chunksize=size)
header = True

for chunk in df_chunk:
    chunk_filter = chunk[chunk['review'] > 3]
    chunk_filter.to_csv('out.csv', header=header, mode='a')
    header = False

Conclusiones

En esta entrada se visto cómo procesar archivos CSV enormes en Python con pandas. Para ello es necesario solamente es necesario utilizar la propiedad chunksize e iterar sobre los resultados. Permitiendo así procesar el contenido de archivos CSV con gigas de datos en ordenadores sin la necesidad de instalar memoria RAM en el ordenador.

Imágenes: Pixabay (A_Different_Perspective)

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 5 / 5. Votos emitidos: 1

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Shallow copy vs Deep copy en Python: la mutación inesperada
  • Cómo Proyectar Cuándo Alcanzarás la Independencia Financiera
  • Cómo Saber si una Diferencia Significativa es Importante
  • Curiosidad: “Wi-Fi” no significa “Wireless Fidelity”
  • Cómo Explorar un Dataset antes de Modelar
  • Cómo Elegir el Test de Hipótesis Correcto para tus Datos
  • Tuplas vs Listas en Python: parecen lo mismo, pero no
  • == vs is en Python: la diferencia que causa bugs misteriosos
  • Curiosidad: El puerto 80 y los números de puerto

Publicidad

Publicado en: Python Etiquetado como: Pandas

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Bluesky
  • Facebook
  • GitHub
  • Instagram
  • Mastodon
  • Pinterest
  • RSS
  • Telegram
  • Tumblr
  • Twitter
  • YouTube

Publicidad

Entradas recientes

Cómo Explorar un Dataset antes de Modelar

noviembre 17, 2026 Por Daniel Rodríguez

Curiosidad: “Wi-Fi” no significa “Wireless Fidelity”

noviembre 12, 2026 Por Daniel Rodríguez

Shallow copy vs Deep copy en Python: la mutación inesperada

noviembre 10, 2026 Por Daniel Rodríguez

Publicidad

Es tendencia

  • Creación de gráficos de barras y gráficos de columnas con Seaborn publicado el julio 18, 2023 | en Python
  • Instalar Rocky Linux 9 en VirtualBox publicado el octubre 20, 2023 | en Herramientas
  • Gráficos de barras en Matplotlib publicado el julio 5, 2022 | en Python
  • Solución a ‘IndentationError: unexpected indent’ en Python paso a paso publicado el marzo 24, 2025 | en Python
  • Programador de tareas de Windows: Guía definitiva para automatizar tu trabajo (BAT, PowerShell y Python) publicado el octubre 7, 2025 | en Herramientas, Productividad

Publicidad

Lo mejor valorado

4.9 (24)

Seleccionar filas y columnas en Pandas con iloc y loc

4.6 (16)

Archivos JSON con Python: lectura y escritura

4.4 (14)

Ordenación de diccionarios en Python mediante clave o valor

4.7 (13)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.1 (11)

Aplicar el método D’Hondt en Excel

Comentarios recientes

  • Daniel Rodríguez en Curiosidad: La Paradoja de Simpson, o por qué no siempre debes fiarte de los promedios
  • Hatepi en Curiosidad: La Paradoja de Simpson, o por qué no siempre debes fiarte de los promedios
  • Daniel Rodríguez en Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)
  • Juan en Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)
  • bif en JSON en bases de datos: cuándo es buena idea y cuándo no

Publicidad


Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2026 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto