Apache Arrow y Parquet son dos formatos modernos para con los que es posible conseguir archivos más pequeños que CSV, además de unos menores tiempos de lectura y escritura. Veamos a continuación las diferencias que existen entre Apache Arrow y Parquet.Apache ArrowApache Arrow es una biblioteca, disponible para múltiples lenguajes de programación, que proporciona … [Leer más...] acerca deDiferencias entre Apache Arrow y Parquet
Julia
Julia es un lenguaje de programación moderno presentado como un proyecto libre en 2012. Siendo un lenguaje de programación multiparadigma de tipado dinámico de alto nivel y desempeño para la computación científica. Empleando una sintaxis a la de otros entornos de computación científica como puede MATLAB.
Una de sus grandes virtudes de Julia es el hecho de disponer de un compilador con el que el código es traducido a lenguaje máquina antes de ejecutarse. Obteniendo por lo tanto rendimientos similares que se obtienen con C o FORTRAN, pero manteniendo la simplicidad de un lenguaje interpretado como Python o R. Por lo que, en las últimas encuesta de Stack Overflow, parece como uno de los lenguajes más deseados, a pesar de no ser de propósito general.
Al igual que Python y R, Julia cuenta con una comunidad de usuarios que contribuyen con la creación y distribución de paquetes con los que extenderlo. Aunque la comunidad no es tan grande, es posible encontrar paquetes para las tareas mas habituales.
Archivos Parquet en Julia
En una publicación reciente se ha visto las ventajas que ofrece el uso de archivos Parquet frente a CSV o Feather en Pandas. Consiguiendo guardar un conjunto de datos aleatorios en un archivo un 10% más pequeño que CSV con compresión hasta 100 veces más rápido. Algo que, en algunos puntos, mejora el rendimiento de Feather. Veamos como se puede trabajar con archivos Parquet en … [Leer más...] acerca deArchivos Parquet en Julia
Obtener el listado de las variables en Julia
Cuando se está trabajando en una sesión de Julia puede ser necesario conocer cuales son las variables que están cargadas en memoria. Pudiendo localizar de esta manera aquellas que ya no utilizan. Para conseguir el listado de las variables en Julia contamos con la función varinfo().Obtener el listado de las variables en JuliaLa función con la que se puede obtener … [Leer más...] acerca deObtener el listado de las variables en Julia
Concatenar vectores en Julia
Al trabajar con vectores es habitual tener que combinarlos. Veamos las opciones que tenemos para concatenar vectores en Julia.Concatenar vectores con las funciones vcat() y hcat()Las funciones estándar para concatenar el contenido de diferentes estructuras de datos en Julia son vcat(), para combinar conjuntos de datos en vertical o por filas, y hcat(), para cuando se … [Leer más...] acerca deConcatenar vectores en Julia
Importar archivos Apache Arrow o Feather en Julia
Recientemente hemos visto las ventajas que ofrece el uso del formato de archivo Feather frente a CSV en Python. En primer lugar, el tamaño de los archivos resultantes es mucho más pequeño, en torno a un tercio. Además, el tiempo necesario para guardar y cargar los datos es varios órdenes de magnitud, lo que significa pasar de segundos a décimas de segundos. Siendo ambos … [Leer más...] acerca deImportar archivos Apache Arrow o Feather en Julia
Curso de introducción a Julia: ¡Hola Julia!
Durante el verano de 2020 se ha publicado una serie de entradas temáticas sobre el lenguaje de programación Julia. Una serie que puede usarse como un curso de introducción a Julia. Un lenguaje moderno para análisis de datos y aprendizaje automático que se caracteriza por ser más rápido que Python, R o Matlab.Contenido del cursoLa serie consta de las siguientes 20 … [Leer más...] acerca deCurso de introducción a Julia: ¡Hola Julia!
Libros sobre Julia (20ª parte – ¡Hola Julia!)
La serie sobre Julia llega a su final. Después de 19 entradas en las que se han cubierto las bases del lenguaje, el uso de los DataFrames, la lectura de archivos y el uso del framework Genie podemos terminar con unas recomendaciones de libros sobre Julia con los que se puede profundizar más en el lenguaje y sus librerías.Think JuliaPara todos aquellos que comienzan en … [Leer más...] acerca deLibros sobre Julia (20ª parte – ¡Hola Julia!)
Introducción a Genie (19ª parte – ¡Hola Julia!)
Hoy en día se ha vuelto una necesidad poder publicar los resultados de los análisis analíticos o los modelos de aprendizaje automático en la web. Tanto en forma de servicio web como de aplicación. Los usuarios de R cuentan para ellos con Shiny, los de Python cuentan con diferentes frameworks y los de Matlab con las posibilidades de App Designer. En el caso de Julia contamos con … [Leer más...] acerca deIntroducción a Genie (19ª parte – ¡Hola Julia!)
Guardar y leer archivos Excel en Julia (18ª parte – ¡Hola Julia!)
En la entrada anterior se vio cómo trabajar con archivos CSV en Julia, para lo que se vio en paquete CSVFiles. Ahora vamos a ver cómo trabajar archivos Excel en Julia. Para lo que vamos a ver dos paquetes diferentes ExcelFiles.jl y XLSX.jl. El paquete ExcelFiles.jl pertenece al Queryverse, por lo que su funcionamiento es muy similar al de CSVFiles.js. Lo que facilita su … [Leer más...] acerca deGuardar y leer archivos Excel en Julia (18ª parte – ¡Hola Julia!)
Guardar y leer archivos CSV en Julia (17ª parte – ¡Hola Julia!)
Ahora que sabemos seleccionar filas, columnas y combinar varios DataFrames en Julia es un buen momento para aprender a importar datos desde archivos. Uno de los formatos más populares para el intercambio de datos es CSV, ya que son archivos de texto que pueden usarse con todos los programas. Así que vamos a ver un paquete con el que poder guardar y leer archivos CSV en … [Leer más...] acerca deGuardar y leer archivos CSV en Julia (17ª parte – ¡Hola Julia!)
Combinar DataFrames en Julia (16ª parte – ¡Hola Julia!)
Al trabajar con diferentes conjuntos de datos puede que estos no se encuentren un único DataFrame. Por ejemplo, si lo importamos de una base de datos en el que tengamos una tabla de clientes y otra de factura. En tal caso se puede usar SQL para crear una consulta en la que unir las tablas e importar el resultado. Aunque sí queremos tener un mayor control sobre las operaciones … [Leer más...] acerca deCombinar DataFrames en Julia (16ª parte – ¡Hola Julia!)
Filas en DataFrames de Julia (15ª parte – ¡Hola Julia!)
En la entrada anterior hemos visto cómo trabajar con las columnas de un DataFrame, en esta ocasión vamos a ver cómo manejar las filas en DataFrames de Julia.Creación de un conjunto de datosPara poder acceder a las filas de un DataFrame es necesario tener uno en la sesión de Julia. Debido a que, en esta ocasión, los datos concretos no son importantes, vamos a crear un … [Leer más...] acerca deFilas en DataFrames de Julia (15ª parte – ¡Hola Julia!)
