Importar archivos CSV en Node con csv-parser

Los archivos de valores separados por comas (CSV) es uno de los formatos más utilizados para el intercambio de información entre sistemas. Incluyendo también aquellos en los que los valores son separados por otros caracteres. Ya que, al ser simplemente archivos de texto plano, es posible leerlos e interpretarlos sin la necesidad de un programa específico. De hecho, en el caso de Node, como en otras plataformas, se puede hacer simplemente con las funciones estándar. Aunque, el uso de módulos como csv-parser facilita mucho el trabajo a la hora de importar archivos CSV en Node.

Instalación de csv-parser

El módulo csv-parser se puede instalar en cualquier proyecto Node utilizando el comando npm, para lo que solamente se debería escribir en la terminal

npm install csv-parser

A partir de este punto ya se puede impostar en cualquiera de nuestros archivos mediante require

Conjunto de datos

Para trabajar en este caso vamos a usar un archivo CSV que ya hemos usado en otras ocasiones. Un archivo que contiene el nombre, apellido, edad y la cantidad de diferentes clientes. Archivo que se puede ver a continuación.

first_name,last_name,age,amount
Sigrid,Mannock,27,7.17
Joe,Hinners,31,1.90
Theodoric,Rivers,36,1.11
Kennedy,Donnell,53,1.41
Beatrix,Parlett,48,6.69
Olimpia,Guenther,36,4.62
Grange,Douce,40,1.01
Sallee,Johnstone,34,4.88

Carga básica del archivo CSV

La importación del archivo no se hace directamente con el módulo csv-parser, sino que fs. Ya que csv-parser, como su nombre indica, se usa para procesar el contenido del archivo. Así, en primer lugar se importará el archivo con el método fs.createReadStream() y posteriormente se procesa cómo se muestra a continuación.

En Analytics Lane

Nuevo simulador FIRE en el laboratorio de aplicaciones de Analytics Lane

const fs = require('fs');
const parser = require('csv-parser');

fs.createReadStream('base.csv')
    .pipe(parser())
    .on('data', console.log)

En el que se ha importado el módulo csv-parser como parser y este se ha pasado en una tubería. De modo que se puede acceder a dos nuevos eventos. El evento data que se lanza cada vez que se procesa una línea de archivo y envía un objeto con el contenido de línea. Por otro lado, existe el evento header, el cual no se ha utilizado en el ejemplo, que se lanza al procesar la cabecera.

El código de ejemplo devuelve cada una de las filas, no necesariamente en orden, de la siguiente forma.

{
  first_name: 'Sigrid',
  last_name: 'Mannock',
  age: '27',
  amount: '7.17'
}

En el caso de querer guardar los datos en un objeto se pude usar un código como el siguiente.

const fs = require('fs');
const parser = require('csv-parser');

const data = [];

fs.createReadStream('base.csv')
    .pipe(parser({
        separator: ',',
        newline: '\n',
        skipLines: 3,
        headers: ['name', 'surname', 'age', 'sale'],
    }))
    .on('data', row => data.push(row))
    .on('end', () => console.log(data))

Recordando qué es necesario esperar al evento end para poder acceder al contenido del archivo. Ya que el código se ejecuta de manera asíncrona.

Opciones de csv-parser

El método parser() cuenta con múltiples opciones que se pueden pasar en un objeto, entre las que se puede destacar:

• separator: en el caso de que el separador de los valores no sea la coma, se puede indicar mediante este parámetro cuál es el carácter utilizado.
• newline: también es posible cambiar el carácter de salto de línea empleado en el archivo, el cual es por defecto \n.
• skipLines: en el caso de que sea necesario omitir unas líneas se pude hacer indicando en este parámetro el número. Aunque hay que tener en cuenta que esto también omitiría las cabeceras en el caso de que existiesen.
• headers: si el archivo no cuenta con cabeceras estas se pueden indicar manualmente como un vector en esta propiedad. O alternativamente, pasando un vector como único parámetro.

Por ejemplo, si se desea omitir las tres primeras líneas e indicar las cabeceras manualmente esto se puede hacer con el siguiente ejemplo. En el que también se han indicado explícitamente los valores para el separador de valores y salto de línea.

const fs = require('fs');
const parser = require('csv-parser');

fs.createReadStream('base.csv')
    .pipe(parser({
        separator: ',',
        newline: '\n',
        skipLines: 3,
        headers: ['name', 'surname', 'age', 'sale'],
    }))
    .on('data', console.log)

Procesado de las cabeceras

Otra propiedad que puede ser interesante es mapHeaders, propiedad que admite una función que se ejecutará sobre la cabecera. Lo que es posible emplear para, por ejemplo, convertir la cabecera en mayúsculas.

const fs = require('fs');
const parser = require('csv-parser');

fs.createReadStream('base.csv')
    .pipe(parser({
        mapHeaders: ({ header, index }) => header.toUpperCase()
    }))
    .on('data', console.log);

Procesado de los valores

De manera análoga, también edite la propiedad mapValues que admite una función que se aplicará sobre cada uno de los valores. Función que tiene como parámetros de entrada el nombre de la cabecera, el índice y valor. Propiedad que se puede utilizar para convertir los valores numéricos en números, siempre y cuando se conozca qué columnas contienen valores numéricos

const fs = require('fs');
const parser = require('csv-parser');

fs.createReadStream('base.csv')
    .pipe(parser({
        mapValues: ({ header, index, value }) => {
            if (header == 'age' || header == 'amount') {
                return parseFloat(value);
            } else {
                return value;
            }
        }
    }))
    .on('data', console.log);

Conclusiones

El módulo csv-parser es de gran utilidad para procesar los archivos de valores separados por comas. Facilitando en gran medida la importación de archivos CSV en Node.

Image by StockSnap from Pixabay