Apache Spark es una solución de código abierto desarrollado para analizar y procesar datos a gran escala. Para utilizar esta herramienta en Python es necesario utilizar el API PySpark. En esta entrada se explicará cómo realizar la instalación de PySpark en Anaconda y cómo utilizar este desde un Notebook.
¿Qué es Apache Spark y PySpark?
Apache Spark es un motor de código abierto desarrollado para gestionar y procesar datos en un entorno Big Data. Spark permite acceder a datos procedentes de diferentes fuentes como puede ser el sistema de archivos distribuidos de Hadoop (HDFS, “Hadoop Distributed File System”), OpenStack Swift, Amazon S3 o Cassandra.
Originalmente Apache Spark se diseño para hacer más fáciles los procesos analíticos en Hadoop. Al tiempo de proporcionar un conjunto completo de herramientas complementarias entre los que se incluyen la biblioteca de aprendizaje automático (MLlib) y el motor de procesamiento de gráficos (GraphX).
Por otro lado, PySpark es un API que permite utiliza Apache Spark desde Python. Siendo necesaria la instalación de PySpark en Anaconda si deseamos trabajar con esta herramienta en nuestro sistema.
Instalación de Anaconda
Antes de proceder a la instalación PySpark en Anaconda es necesario disponer de una distribución del entorno de trabajo con Python 3. En caso de no contar con ella lo más fácil es descargar el instalador desde la página de descargas del fabricante. Por otro lado, en el caso de que disponga de un entorno de Anaconda con Python 2 se ha de crear un nuevo entorno. El proceso para la creación de un nuevo entorno con Python 3 se explica en la entrada instalación de varias versiones de Python en Anaconda.
Instalación de Spark y PySpark
La mejor opción para instalar Spark y PySpark es descargar el paquete desde la página de escargas del proyecto. En esta página hay varias opciones, se puede seleccionar la versión y el tipo de paquete. Para nuestro ejemplo seleccionaremos la última versión estable. En cuanto al tipo de paquete la opción que nos interesa es “Pre-built for Apache Hadoop 2.7 and later”. Una vez realizada la selección descargamos el archivo tgz para desde uno de los mirror disponibles.
Una vez descargado el archivo en nuestro ordenador hemos de descomprimirlo. Se generará una carpeta que hemos de situar en una ubicación accesible del disco duro. En mi caso la situaré en la carpeta raíz de mi usuario.
Ahora es necesario configurar las rutas de acceso hacia la instalación de Spark. Para ello se ha de modificar el archivo .bash_profile (o dependiendo de la configuración .bashrc o .zshrc) en Mac o Linux. Para ello se añadirán las siguientes líneas:
# Spark configurartion
export SPARK_HOME=~/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3
En el caso de Windows se han de configurar las variables de usuario SPARK_HOME con la ruta hacia Spark y la variable de sistema PATH.
Una vez realizado estas tareas se ha de reiniciar la termina y lanzar el comando pyspark. Debiéndose observar en el terminal un resultado como el siguiente.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/__ / .__/\_,_/_/ /_/\_\ version 2.4.0
/_/
Using Python version 3.6.6 (default, Jun 28 2018 11:07:29)
SparkSession available as 'spark'.
Acceder a Apache Spark desde un Notebook
Existen dos maneras para poder utilizar Apache Spark desde un Notebook.
- Configurando PySpark para que lance automáticamente un Notebook.
- Instalar el paquete findSpark para acceder a Spark desde cualquier entorno de trabajo Python.
Configurando PySpark para que lance automáticamente un Notebook
Esta es la manera más fácil de utilizar Spark desde un Notebook Python. Simplemente se ha de añadir las siguientes opciones al archivo de configuración del sistema.
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
En este punto tras reiniciar la consola y llamar al comando pyspark se abrirá un nuevo Notebook. En este ya es posible utilizar PySpark. Por ejemplo, para comprobar que funciona se puede calcular el valor de Pi con Spark mediante el siguiente código.
import random
num_samples = 100000000
def inside(p):
x, y = random.random(), random.random()
return x*x + y*y < 1
count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi = 4 * count / num_samples
print(pi)
sc.stop()Instalación del paquete findSpark
La otra opción para acceder a Spark desde un Notebook es instalar el paquete findSpark. Este se puede instalar desde con pip utlizando el siguiente comando
pip install findspark
Ahora se puede abrir un nuevo Notebook, o cualquier otro entrono de desarrollo de Python, para utilizar PySpark. En este caso el código para calcular Pi visto anteriormente se ha de modificad de la siguiente forma.
import findspark
findspark.init()
import pyspark
import random
sc = pyspark.SparkContext()
num_samples = 100000000
def inside(p):
x, y = random.random(), random.random()
return x*x + y*y < 1
count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi = 4 * count / num_samples
print(pi)
sc.stop()Obsérvese que ahora en primer lugar se ha de importar findspark e inicializarlo con findspark.init(). Una vez hecho esto se ha de importar el paquete pyspark, el cual no era necesario previamente. Posteriormente con se ha de inicializar un contexto mediante el comando sc = pyspark.SparkContext() antes de proceder con el código. Aunque requiere un par de pasos más que el ejemplo anterior, este método es más flexible ya que no solo se puede utilizar en Notebooks.
Conclusiones
En esta entrada se ha visto como como realizar la instalación de PySpark en Anaconda y utilizar ese desde un Notebook. Permitiendo así trabajar con Spark desde Python y guardando los resultados en Notebooks.
Muchas gracias por el tiempo dedicado a leer este artículo. ¿Te ha resultado útil e interesante el contenido? Puedes evaluarlo más abajo, compartirlo en redes sociales o dejar un comentario sobre el mismo. Para recibir actualizaciones con nuevo contenido puedes darte de alta en el boletín de noticias o seguirnos en redes sociales.
Imágenes: Pixabay (PublicDomainPictures)
