• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Instalación de PySpark en Anaconda y primeros pasos

enero 25, 2019 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 4 minutos

Apache Spark es una solución de código abierto desarrollado para analizar y procesar datos a gran escala. Para utilizar esta herramienta en Python es necesario utilizar el API PySpark. En esta entrada se explicará cómo realizar la instalación de PySpark en Anaconda y cómo utilizar este desde un Notebook.

¿Qué es Apache Spark y PySpark?

Apache Spark es un motor de código abierto desarrollado para gestionar y procesar datos en un entorno Big Data. Spark permite acceder a datos procedentes de diferentes fuentes como puede ser el sistema de archivos distribuidos de Hadoop (HDFS, “Hadoop Distributed File System”), OpenStack Swift, Amazon S3 o Cassandra.

Originalmente Apache Spark se diseño para hacer más fáciles los procesos analíticos en Hadoop. Al tiempo de proporcionar un conjunto completo de herramientas complementarias entre los que se incluyen la biblioteca de aprendizaje automático (MLlib) y el motor de procesamiento de gráficos (GraphX).

Por otro lado, PySpark es un API que permite utiliza Apache Spark desde Python. Siendo necesaria la instalación de PySpark en Anaconda si deseamos trabajar con esta herramienta en nuestro sistema.

Instalación de Anaconda

Antes de proceder a la instalación PySpark en Anaconda es necesario disponer de una distribución del entorno de trabajo con Python 3. En caso de no contar con ella lo más fácil es descargar el instalador desde la página de descargas del fabricante. Por otro lado, en el caso de que disponga de un entorno de Anaconda con Python 2 se ha de crear un nuevo entorno. El proceso para la creación de un nuevo entorno con Python 3 se explica en la entrada instalación de varias versiones de Python en Anaconda.

Publicidad


Instalación de Spark y PySpark

La mejor opción para instalar Spark y PySpark es descargar el paquete desde la página de escargas del proyecto. En esta página hay varias opciones, se puede seleccionar la versión y el tipo de paquete. Para nuestro ejemplo seleccionaremos la última versión estable. En cuanto al tipo de paquete la opción que nos interesa es “Pre-built for Apache Hadoop 2.7 and later”. Una vez realizada la selección descargamos el archivo tgz para desde uno de los mirror disponibles.

Una vez descargado el archivo en nuestro ordenador hemos de descomprimirlo. Se generará una carpeta que hemos de situar en una ubicación accesible del disco duro. En mi caso la situaré en la carpeta raíz de mi usuario.

Ahora es necesario configurar las rutas de acceso hacia la instalación de Spark. Para ello se ha de modificar el archivo .bash_profile (o dependiendo de la configuración .bashrc o .zshrc) en Mac o Linux. Para ello se añadirán las siguientes líneas:

# Spark configurartion
export SPARK_HOME=~/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

En el caso de Windows se han de configurar las variables de usuario SPARK_HOME con la ruta hacia Spark y la variable de sistema PATH.

Una vez realizado estas tareas se ha de reiniciar la termina y lanzar el comando pyspark. Debiéndose observar en el terminal un resultado como el siguiente.

Publicidad


Welcome to
      ____	          __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.4.0
      /_/
 
Using Python version 3.6.6 (default, Jun 28 2018 11:07:29)
SparkSession available as 'spark'.

Acceder a Apache Spark desde un Notebook

Existen dos maneras para poder utilizar Apache Spark desde un Notebook.

  • Configurando PySpark para que lance automáticamente un Notebook.
  • Instalar el paquete findSpark para acceder a Spark desde cualquier entorno de trabajo Python.

Configurando PySpark para que lance automáticamente un Notebook

Esta es la manera más fácil de utilizar Spark desde un Notebook Python. Simplemente se ha de añadir las siguientes opciones al archivo de configuración del sistema.

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

En este punto tras reiniciar la consola y llamar al comando pyspark se abrirá un nuevo Notebook. En este ya es posible utilizar PySpark. Por ejemplo, para comprobar que funciona se puede calcular el valor de Pi con Spark mediante el siguiente código.

import random

num_samples = 100000000

def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1

count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi = 4 * count / num_samples

print(pi)

sc.stop()

Instalación del paquete findSpark

La otra opción para acceder a Spark desde un Notebook es instalar el paquete findSpark. Este se puede instalar desde con pip utlizando el siguiente comando

pip install findspark

Ahora se puede abrir un nuevo Notebook, o cualquier otro entrono de desarrollo de Python, para utilizar PySpark. En este caso el código para calcular Pi visto anteriormente se ha de modificad de la siguiente forma.

Publicidad


import findspark
findspark.init()

import pyspark
import random

sc = pyspark.SparkContext()

num_samples = 100000000
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1

count = sc.parallelize(range(0, num_samples)).filter(inside).count()

pi = 4 * count / num_samples

print(pi)

sc.stop()

Obsérvese que ahora en primer lugar se ha de importar findspark e inicializarlo con findspark.init(). Una vez hecho esto se ha de importar el paquete pyspark, el cual no era necesario previamente. Posteriormente con se ha de inicializar un contexto mediante el comando sc = pyspark.SparkContext() antes de proceder con el código. Aunque requiere un par de pasos más que el ejemplo anterior, este método es más flexible ya que no solo se puede utilizar en Notebooks.

Conclusiones

En esta entrada se ha visto como como realizar la instalación de PySpark en Anaconda y utilizar ese desde un Notebook. Permitiendo así trabajar con Spark desde Python y guardando los resultados en Notebooks.

Muchas gracias por el tiempo dedicado a leer este artículo. ¿Te ha resultado útil e interesante el contenido? Puedes evaluarlo más abajo, compartirlo en redes sociales o dejar un comentario sobre el mismo. Para recibir actualizaciones con nuevo contenido puedes darte de alta en el boletín de noticias o seguirnos en redes sociales.

Imágenes: Pixabay (PublicDomainPictures)

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 5 / 5. Votos emitidos: 2

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

Publicidad


¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Procesado de archivos CSV enormes en Python
    Procesado de archivos CSV enormes en Python
  • Unir múltiples archivos CSV en uno con Pandas
    Unir múltiples archivos CSV en uno con Pandas
  • Cómo crear gráficos múltiples en Seaborn
    Cómo crear gráficos múltiples en Seaborn
  • Diferencias entre Apache Arrow y Parquet
    Diferencias entre Apache Arrow y Parquet
  • Anaconda
    Instalación de varias versiones de Python en Anaconda
  • Probar en múltiples versiones de Python (Creación de paquetes de Python 3ª parte)
    Probar en múltiples versiones de Python (Creación de…

Publicado en: Python Etiquetado como: Spark

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • ¿Cómo cambiar el nombre de las columnas en Pandas? publicado el mayo 6, 2019 | en Python
  • Seleccionar filas y columnas en Pandas con iloc y loc publicado el junio 21, 2019 | en Python
  • pandas Pandas: Cambiar los tipos de datos en los DataFrames publicado el julio 15, 2021 | en Python
  • Numpy básico: valores mínimos y máximos en arrays Numpy publicado el octubre 23, 2019 | en Python
  • Unir y combinar dataframes con pandas en Python publicado el septiembre 10, 2018 | en Python

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto