Pandas: Leer archivos CSV con diferentes delimitadores en Pandas.

La función read_csv() de Pandas permite importar archivos en formato CSV de una forma fácil. Por defecto, la función asume que el separador de los valores es la coma (,), pero este es un comportamiento que se puede cambiar. Incluso para usar más de un delimitado en el mismo archivo. En esta entrada vamos a ver cómo trabajar con archivos CSV con diferentes delimitadores en Pandas.

Importando un archivo punto y coma como delimitador

Quizás una de las opciones más habituales a la hora de trabajar con archivos CSV es emplear el punto y coma como delimitador. Dado que en español el separador de decimales es la coma y puede llevar a confusión. En estos casos nos podemos encontrar con un archivo como el siguiente.

id;first_name;last_name;gender;ip_address
1;Modestia;Korpal;Female;230.81.137.210
2;Sander;Glandon;Male;183.251.237.143
3;Henrie;Cordeau;Female;72.182.134.193
4;Dorrie;Gallichan;Female;169.90.206.239
5;Terrel;Mulliss;Male;150.200.94.5

Ahora, si se intenta importar directamente mediante la función read_csv() de Pandas, como se explicó en una entrada anterior, el resultado no será el esperado.

import pandas as pd

data = pd.read_csv('puntoycoma.csv')

  id;first_name;last_name;gender;ip_address
0   1;Modestia;Korpal;Female;230.81.137.210
1     2;Sander;Glandon;Male;183.251.237.143
2    3;Henrie;Cordeau;Female;72.182.134.193
3  4;Dorrie;Gallichan;Female;169.90.206.239
4        5;Terrel;Mulliss;Male;150.200.94.5

Vemos que solamente se importa un registro. Para solucionar se puede utilizar la propiedad sep de la función para indicar a esta cual es el delimitador. En este caso, dado que el archivo usa punto, se puede importar con el siguiente código.

En Analytics Lane

Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)

data = pd.read_csv('puntoycoma.csv', sep=';')

   id first_name  last_name  gender       ip_address
0   1   Modestia     Korpal  Female   230.81.137.210
1   2     Sander    Glandon    Male  183.251.237.143
2   3     Henrie    Cordeau  Female   72.182.134.193
3   4     Dorrie  Gallichan  Female   169.90.206.239
4   5     Terrel    Mulliss    Male     150.200.94.5

Importar con delimitadores formados por varios caracteres

Otra opción con la que nos podemos encontrar es que los delimitadores estén formados por más de un carácter. Por ejemplo, que estos sean dos guiones bajos (__), como el siguiente archivo.

id__first_name__last_name__gender__ip_address
1__Modestia__Korpal__Female__230.81.137.210
2__Sander__Glandon__Male__183.251.237.143
3__Henrie__Cordeau__Female__72.182.134.193
4__Dorrie__Gallichan__Female__169.90.206.239
5__Terrel__Mulliss__Male__150.200.94.5

En este caso se puede pensar que solamente hay que indicar que este separador en la propiedad sep. Pero para evitar problemas es necesario emplear además la propiedad engine con la propiedad python. Debido a que el motor por defecto utilizado por la función para procesar el archivo no soporta el uso de expresiones regulares, lo que se indica mediante una advertencia. Así, para importar este archivo se debería emplear el siguiente comando.

data = pd.read_csv('sub.csv', sep='__', engine='python')

   id first_name  last_name  gender       ip_address
0   1   Modestia     Korpal  Female   230.81.137.210
1   2     Sander    Glandon    Male  183.251.237.143
2   3     Henrie    Cordeau  Female   72.182.134.193
3   4     Dorrie  Gallichan  Female   169.90.206.239
4   5     Terrel    Mulliss    Male     150.200.94.5

Importar archivos con espacios y tabuladores

Una posibilidad con la que nos podemos encontrar es que un archivo CSV contenga espacios y tabuladores como delimitadores. Algo habitual cuando los archivos son editados manualmente. En esta situación se puede usar como separador \s+, lo que se interpretaría como separador tanto espacios como tabuladores o las combinaciones de ambos.

data = pd.read_csv('sub.csv', sep='\s+', engine='python')

Importar CSV con diferentes delimitadores

Finalmente podemos tener una situación en la que el delimitado sea diferente en cada línea, o incluso en la misa. Como sucede en el siguiente archivo.

id;first_name;last_name;gender;ip_address
1:Modestia,Korpal Female;230.81.137.210
2 Sander Glandon Male 183.251.237.143
3	Henrie	Cordeau	Female	72.182.134.193
4,Dorrie,Gallichan,Female,169.90.206.239
5:Terrel:Mulliss:Male:150.200.94.5

En este caso, si queremos importar los archivos se puede utilizar expresiones regulares para incluir todas las opciones posibles.

data = pd.read_csv('multiple.csv', sep='[;,:\s+]', engine='python')

   id first_name  last_name  gender       ip_address
0   1   Modestia     Korpal  Female   230.81.137.210
1   2     Sander    Glandon    Male  183.251.237.143
2   3     Henrie    Cordeau  Female   72.182.134.193
3   4     Dorrie  Gallichan  Female   169.90.206.239
4   5     Terrel    Mulliss    Male     150.200.94.5

Conclusiones

En la entrada de hoy hemos visto cómo es posible importar archivos CSV con diferentes delimitadores en Pandas. Incluso en el mismo archivo. Una solución que nos puede sacar de problemas en más de una situación, especialmente cuando los archivos que tenemos que importar no son generados correctamente.