La semana pasada se vio cómo se puede realizar análisis se sentimientos en inglés con NLTK. A pesar de que NLTK es una librería muy potente, no cuenta con un lematizador para español, por lo que no es adecuado para trabajar en nuestro idioma. Una alternativa que sí permite realizar análisis de sentimientos en español en Python es spaCy, la cual también es bastante fácil de utilizar.
Instalación de spaCy
A diferencia de NLTK, spaCy no viene incluido en Anaconda, por lo que es necesario instalarlo en el sistema. Como es habitual el Python, la librería se puede instalar mediante pip escribiendo el siguiente comando en una terminal.
pip install spacy
Una vez instalado spaCy será necesario descargar los modelos pre-entrenados específicos para nuestro idioma, en nuestro caso español. Lo que se puede hacer ejecutando el siguiente comando en la terminal.
python -m spacy download es_core_news_sm
Este comando descarga un modelo reducido, pero suficiente para comprender el funcionamiento de la librería, con un peso de aproximadamente 12 MB. También están disponibles otras versiones pre-entrenadas con conjuntos de datos de tamaño medio es_core_news_md (40 MB) o grande es_core_news_lg (541 MB) que se pueden descargar alternativamente. Un listado de los modelos entrenados disponibles se puede encontrar en la página: Trained Models & Pipelines.
Características spaCy
Al igual que NLTK, spaCy es una librería de procesamiento de lenguaje natural (PLN) para Python de código abierto. Ofreciendo a los usuarios un conjunto de herramientas y modelos para realizar diversas tareas relacionadas con el procesamiento y análisis de texto. Las principales características de spaCy son:
Publicidad
Tokenización: puede dividir texto en unidades más pequeñas llamadas “tokens”, que pueden ser palabras o partes de palabras.
Etiquetado gramatical: contiene modelos entrenados que pueden etiquetar cada token en un texto con información gramatical, como partes del discurso y etiquetas sintácticas.
Reconocimiento de entidades nombradas: permite identificar y clasificar entidades nombradas en un texto, como nombres de personas, organizaciones, lugares, fechas, cantidades, entre otros.
Análisis sintáctico: facilita la realización de análisis sintáctico de las oraciones para capturar la estructura gramatical y las dependencias entre las palabras.
Lematización: reduce las palabras a su forma base (lemas), lo que ayuda a normalizar el texto y simplificar el análisis.
Modelos pre-entrenados: proporciona modelos pre-entrenados para varios idiomas que pueden utilizarse para realizar tareas de PLN sin la necesidad de entrenar un modelo desde cero. Estos modelos incluyen información gramatical, reconocimiento de entidades y análisis sintáctico.
Eficiencia y velocidad: es una librería rápida y eficiente, lo que la hace adecuada para el procesamiento de grandes volúmenes de texto.
Pasos para realizar análisis de sentimientos en español con spaCy
Los pasos para realizar análisis de sentimiento en español con spaCy son los mismos que se han visto la semana pasada con NLTK en inglés. Aunque obviamente, las funciones que se deben usar son diferentes. En concreto, los pasos que se deben seguir son: preprocesamiento de datos, extracción de características, entrenamiento del modelo y clasificación de nuevos textos.
Preprocesamiento de datos
El procesamiento de datos en spaCy es ligeramente más sencillo en spaCy que en NLTK. En este caso se deben importar los modelos entrenados que se han descargado antes y usarlos para obtener los tokens ya tematizados y en minúsculas. Proceso que se puede ver en él siguiente código.
import spacy
text = "Me encanta el contenido del blog de Analytics Lane, los artículos son fantásticos."
nlp = spacy.load('es_core_news_sm')
doc = nlp(text)
# Eliminación de palabras irrelevantes (stopwords) y signos de puntuación
tokens = [token.lemma_.lower() for token in doc if not token.is_stop and not token.is_punct]
# Reconstrucción del texto preprocesado
preprocessed_text = ' '.join(tokens)
preprocessed_text
'encantar contenido blog analytics lane artículo fantástico'
En este se cargan los modelos mediante la función spacy.load() (si se ha descargado otro se deberá reemplazar el nombre en el parámetro de la función por el que se desee usar). Al modelo importado se le puede pasar la cadena de texto para obtener los tokens (nlp(text)). Posteriormente se filtran aquellos que no son ni stopwords ni elementos de puntuación (not token.is_stop and not token.is_punct) para, en el mismo paso, lematizar y convertir en minúsculas (token.lemma_.lower()). El resultado es el listado de tokens procesados.
Nótese como la herramienta usa como token el infinitivo del verbo en lugar de su versión conjugada (encantar en lugar de encanta). También los términos en plural aparecen en singular (artículo en lugar de artículos). Lo que facilita el análisis de los textos.
Extracción de características
En spaCy, la extracción de características también se puede hacer de una forma sencilla. Para lo que se debe iterar sobre los tokens y crear una lista con el conteo de términos. Una posible opción para hacer esto es la que se muestra en el siguiente código de ejemplo.
Publicidad
features = {}
doc = nlp(preprocessed_text)
for token in doc:
if not token.is_stop and not token.is_punct:
if token.lemma_.lower() in features:
features[token.lemma_.lower()] += 1
else:
features[token.lemma_.lower()] = 1
features
Lo que genera un diccionario donde la palabra es la clave y el valor es el número de ocurrencias de esta en el texto.
Conjunto de datos de entrenamiento y factorización de los datos
Ahora, antes de poder hacer un análisis de sentimientos en español con spaCy es necesario disponer de un conjunto de datos para el entrenamiento. Para lo que se recurre a una traducción del conjunto que se ha utilizado la semana pasada con NLTK.
training_data = [
("Me encanta el contenido del blog de Analytics Lane, los artículos son fantásticos.", "positivo"),
("El código no funciona, me ha dado un error al ejecutarlo.", "negativo"),
("Me encanta este producto.", "positivo"),
("Esta película fue terrible.", "negativo"),
("El clima está agradable hoy.", "positivo"),
("Me siento triste por las noticias.", "negativo"),
("Es solo un libro promedio.", "neutral")
]
Otra cosa que también se puede hacer es crear funciones con las que se factorizan los pasos vistos en las secciones anteriores.
import spacy
def preprocess_text(text):
"""
Realiza el preprocesamiento básico de un texto en idioma español utilizando spaCy.
Args:
text (str): El texto a ser preprocesado.
Returns:
str: El texto preprocesado.
"""
nlp = spacy.load('es_core_news_sm')
doc = nlp(text)
# Eliminación de palabras irrelevantes (stopwords) y signos de puntuación
tokens = [token.lemma_.lower() for token in doc if not token.is_stop and not token.is_punct]
# Reconstrucción del texto preprocesado
preprocessed_text = ' '.join(tokens)
return preprocessed_text
def extract_features(text):
"""
Extrae las características del texto utilizando spaCy y devuelve un diccionario de características.
Args:
text (str): El texto del cual extraer características.
Returns:
dict: Un diccionario que representa las características extraídas del texto.
"""
features = {}
doc = nlp(text)
for token in doc:
if not token.is_stop and not token.is_punct:
if token.lemma_.lower() in features:
features[token.lemma_.lower()] += 1
else:
features[token.lemma_.lower()] = 1
return features
Entrenamiento del modelo
Para el análisis de sentimiento uno de los modelos que mejor funciona son Naive Bayes. A diferencia de NLTK, spaCy no cuenta con una implementación propia, pero se puede recurrir a la que existe en Scikit-learn. Así, para entrenar el modelo solamente sería necesario preprocesar los datos, extraer las características y crear un conjunto de entrenamiento para el modelo MultinomialNB(). Pasos que se pueden implementar como se muestra a continuación.
from sklearn.feature_extraction import DictVectorizer
from sklearn.naive_bayes import MultinomialNB
# Preprocesamiento de los datos de entrenamiento
preprocessed_training_data = [(preprocess_text(text), label) for text, label in training_data]
# Extracción de características de los datos de entrenamiento
training_features = [extract_features(text) for text, _ in preprocessed_training_data]
vectorizer = DictVectorizer(sparse=False)
X_train = vectorizer.fit_transform(training_features)
# Etiquetas de los datos de entrenamiento
y_train = [label for _, label in preprocessed_training_data]
# Entrenamiento del clasificador Naive Bayes
classifier = MultinomialNB()
_ = classifier.fit(X_train, y_train)
Clasificación de nuevos textos
Ahora, una vez entrenado el modelo, se puede usar esta para predecir el sentimiento de los nuevos textos. Simplemente se repiten con los nuevos textos las transformaciones realizadas sobre el conjunto de entrenamiento y el resultado se le pasa al modelo.
Publicidad
# Nuevo texto para clasificar
new_text = "Me encantó mucho del concierto."
# Preprocesamiento del nuevo texto
preprocessed_text = preprocess_text(new_text)
# Extracción de características del nuevo texto
features = extract_features(preprocessed_text)
X_test = vectorizer.transform([features])
# Clasificación del nuevo texto
sentiment = classifier.predict(X_test)
print("Sentimiento:", sentiment[0])
Sentimiento: positivo
Conclusiones
spaCy es una librería alternativa NLTK con la que también se puede realizar análisis de sentimientos. Contando con la ventaja de que también se puede hacer en español y otros idiomas gracias a los modelos pre-entrenados que se pueden descargar. Algo que también simplifica el trabajo con la librería. Por eso, en el caso de querer realizar análisis de sentimientos en español, spaCy es una de las opciones que debe tener siempre en cuenta.
Deja una respuesta