La función read_csv() de Pandas permite importar archivos en formato CSV de una forma fácil. Por defecto, la función asume que el separador de los valores es la coma (,), pero este es un comportamiento que se puede cambiar. Incluso para usar más de un delimitado en el mismo archivo. En esta entrada vamos a ver cómo trabajar con archivos CSV con diferentes delimitadores en Pandas.
Importando un archivo punto y coma como delimitador
Quizás una de las opciones más habituales a la hora de trabajar con archivos CSV es emplear el punto y coma como delimitador. Dado que en español el separador de decimales es la coma y puede llevar a confusión. En estos casos nos podemos encontrar con un archivo como el siguiente.
id;first_name;last_name;gender;ip_address 1;Modestia;Korpal;Female;230.81.137.210 2;Sander;Glandon;Male;183.251.237.143 3;Henrie;Cordeau;Female;72.182.134.193 4;Dorrie;Gallichan;Female;169.90.206.239 5;Terrel;Mulliss;Male;150.200.94.5
Ahora, si se intenta importar directamente mediante la función read_csv() de Pandas, como se explicó en una entrada anterior, el resultado no será el esperado.
import pandas as pd
data = pd.read_csv('puntoycoma.csv')id;first_name;last_name;gender;ip_address 0 1;Modestia;Korpal;Female;230.81.137.210 1 2;Sander;Glandon;Male;183.251.237.143 2 3;Henrie;Cordeau;Female;72.182.134.193 3 4;Dorrie;Gallichan;Female;169.90.206.239 4 5;Terrel;Mulliss;Male;150.200.94.5
Vemos que solamente se importa un registro. Para solucionar se puede utilizar la propiedad sep de la función para indicar a esta cual es el delimitador. En este caso, dado que el archivo usa punto, se puede importar con el siguiente código.
data = pd.read_csv('puntoycoma.csv', sep=';')id first_name last_name gender ip_address 0 1 Modestia Korpal Female 230.81.137.210 1 2 Sander Glandon Male 183.251.237.143 2 3 Henrie Cordeau Female 72.182.134.193 3 4 Dorrie Gallichan Female 169.90.206.239 4 5 Terrel Mulliss Male 150.200.94.5
Importar con delimitadores formados por varios caracteres
Otra opción con la que nos podemos encontrar es que los delimitadores estén formados por más de un carácter. Por ejemplo, que estos sean dos guiones bajos (__), como el siguiente archivo.
id__first_name__last_name__gender__ip_address 1__Modestia__Korpal__Female__230.81.137.210 2__Sander__Glandon__Male__183.251.237.143 3__Henrie__Cordeau__Female__72.182.134.193 4__Dorrie__Gallichan__Female__169.90.206.239 5__Terrel__Mulliss__Male__150.200.94.5
En este caso se puede pensar que solamente hay que indicar que este separador en la propiedad sep. Pero para evitar problemas es necesario emplear además la propiedad engine con la propiedad python. Debido a que el motor por defecto utilizado por la función para procesar el archivo no soporta el uso de expresiones regulares, lo que se indica mediante una advertencia. Así, para importar este archivo se debería emplear el siguiente comando.
data = pd.read_csv('sub.csv', sep='__', engine='python')id first_name last_name gender ip_address 0 1 Modestia Korpal Female 230.81.137.210 1 2 Sander Glandon Male 183.251.237.143 2 3 Henrie Cordeau Female 72.182.134.193 3 4 Dorrie Gallichan Female 169.90.206.239 4 5 Terrel Mulliss Male 150.200.94.5
Importar archivos con espacios y tabuladores
Una posibilidad con la que nos podemos encontrar es que un archivo CSV contenga espacios y tabuladores como delimitadores. Algo habitual cuando los archivos son editados manualmente. En esta situación se puede usar como separador \s+, lo que se interpretaría como separador tanto espacios como tabuladores o las combinaciones de ambos.
data = pd.read_csv('sub.csv', sep='\s+', engine='python')Importar CSV con diferentes delimitadores
Finalmente podemos tener una situación en la que el delimitado sea diferente en cada línea, o incluso en la misa. Como sucede en el siguiente archivo.
id;first_name;last_name;gender;ip_address 1:Modestia,Korpal Female;230.81.137.210 2 Sander Glandon Male 183.251.237.143 3 Henrie Cordeau Female 72.182.134.193 4,Dorrie,Gallichan,Female,169.90.206.239 5:Terrel:Mulliss:Male:150.200.94.5
En este caso, si queremos importar los archivos se puede utilizar expresiones regulares para incluir todas las opciones posibles.
data = pd.read_csv('multiple.csv', sep='[;,:\s+]', engine='python')id first_name last_name gender ip_address 0 1 Modestia Korpal Female 230.81.137.210 1 2 Sander Glandon Male 183.251.237.143 2 3 Henrie Cordeau Female 72.182.134.193 3 4 Dorrie Gallichan Female 169.90.206.239 4 5 Terrel Mulliss Male 150.200.94.5
Conclusiones
En la entrada de hoy hemos visto cómo es posible importar archivos CSV con diferentes delimitadores en Pandas. Incluso en el mismo archivo. Una solución que nos puede sacar de problemas en más de una situación, especialmente cuando los archivos que tenemos que importar no son generados correctamente.
Deja una respuesta