Cómo instalar modelos de chat privados tipo GPT en tu ordenador: Guía paso a paso

Los modelos grandes de lenguaje (LLM, por sus siglas en inglés, Large Language Model) están marcando un antes y un después en la tecnología, transformando industrias y redefiniendo la interacción con la inteligencia artificial. Entre sus aplicaciones más populares destacan los chatbots, que han revolucionado nuestra forma de interactuar con la inteligencia artificial gracias a plataformas como ChatGPT, Claude o Gemini. Sin embargo, el uso de servidores externos para procesar los datos puede generar inquietudes sobre la privacidad, especialmente cuando se trabaja con información confidencial. Esto ha llevado a muchos usuarios a buscar soluciones más seguras para aplicaciones específicas.

Una alternativa para proteger tu privacidad es ejecutar los modelos de chat de manera local, directamente en tu ordenador. Este enfoque elimina la necesidad de conexión a internet durante el uso, asegurando que tus datos permanezcan exclusivamente en tu dispositivo. En este tutorial, aprenderás a instalar y usar Ollama, una herramienta diseñada para ejecutar modelos de chat basados en LLM, junto con AnythingLLM, un cliente gráfico que simplifica su manejo, permitiéndote configurar un entorno de chat privado y seguro.

Aunque las herramientas ejecutadas localmente todavía no igualan la potencia de plataformas como ChatGPT, cuya implementación requiere equipos extremadamente potentes, representan una alternativa respetuosa con la privacidad y adecuada para numerosos casos de uso. Eso sí, es fundamental contar con un ordenador moderno para garantizar un rendimiento fluido. Para usuarios de Windows o Linux, se recomienda una GPU Nvidia. En el caso de los usuarios de Mac, los procesadores Apple Silicon con Neural Engine son ideales, ya que estos modelos demandan una gran capacidad de cálculo para realizar las inferencias.

En Analytics Lane

¡Nuevo video! Aprende a seleccionar datos en Pandas con .iloc y .loc

Instalación de Ollama

Ollama es una herramienta sencilla y eficiente que permite ejecutar modelos grandes de lenguaje (LLM) de forma local. Para instalarla, visita el sitio web oficial de Ollama y descarga la versión compatible con tu sistema operativo. Ollama está disponible para macOS, Linux y Windows.

A continuación, se detallan los pasos específicos para cada sistema operativo:

macOS

1. Descarga el archivo ZIP desde la página oficial de Ollama.
2. Descomprime el archivo para obtener la aplicación.
3. Copia la aplicación en la carpeta Aplicaciones de tu Mac.
4. Ejecuta la aplicación desde la carpeta Aplicaciones para iniciar la configuración inicial.

Nota: macOS podría mostrar un aviso de seguridad al abrir aplicaciones descargadas desde internet. Si esto ocurre, ve a Preferencias del Sistema > Seguridad y Privacidad y permite la ejecución de la aplicación.

Linux

1. Abre una terminal en tu sistema Linux.
2. Ejecuta el comando que se muestra en la página web de Ollama: curl -fsSL https://ollama.com/install.sh | sh
3. Sigue las instrucciones en pantalla para completar la instalación y configuración.

Nota: Es posible que necesites permisos de administrador para ejecutar el script. Si ocurre, antepón sudo al comando anterior.

Windows

1. Descarga el instalador desde el sitio web oficial de Ollama.
2. Ejecuta el archivo descargado para iniciar el asistente de instalación.
3. Sigue las instrucciones del asistente:
   • Acepta los términos y condiciones.
   • Elige la carpeta de instalación (o usa la predeterminada).
   • Completa el proceso haciendo clic en “Finalizar”.
4. Una vez completada la instalación, la aplicación estará lista para usarse.

Nota: Si Windows bloquea la instalación por razones de seguridad, haz clic en “Más información” y selecciona “Ejecutar de todas formas”.

Instalación del primer modelo

Una vez que tengas Ollama instalado en tu equipo, puedes verificar que la instalación se realizó correctamente abriendo una terminal (o símbolo del sistema en Windows) y ejecutando el siguiente comando:

ollama --version 

Si todo está en orden, el terminal mostrará el número de versión instalada. A la fecha de redacción de este tutorial, la última versión de Ollama es la 0.5.1, aunque es posible que haya versiones más recientes debido a las actualizaciones periódicas del proyecto.

El instalador de Ollama no incluye modelos preinstalados, por lo que será necesario descargar al menos uno para comenzar. Un modelo popular y recomendado para empezar es Llama (versión 3.2). Para instalar este modelo, abre una terminal o símbolo del sistema y ejecuta el siguiente comando:

ollama run llama3.2 

Este comando descargará, instalará y ejecutará el modelo Llama 3.2 (3B) localmente, mostrando una ventana de chat en la terminal. Puedes escribir preguntas directamente en la terminal y el modelo responderá. Para salir del chat, escribe el comando:

/exit 

Otros modelos

Ollama permite instalar múltiples modelos, como Phi, Mistral, o Gemma, según tus necesidades. Puedes explorar el listado completo y actualizado de modelos disponibles en la sección Models del sitio web de Ollama.

Antes de instalar un modelo, es importante revisar la sección de este tutorial titulada Entender los tamaños de los modelos, donde se explican las consideraciones relacionadas con los requisitos de hardware. Esto te ayudará a evitar descargar modelos que podrían no funcionar adecuadamente en tu equipo debido a limitaciones de recursos.

Instalación de AnythingLLM

Aunque es posible iniciar un chat con Ollama desde la terminal o el símbolo del sistema, este método puede resultar poco práctico para el uso cotidiano. Para facilitar las conversaciones, puedes utilizar AnythingLLM, un cliente de escritorio que permite interactuar de forma gráfica con distintos proveedores de modelos grandes de lenguaje (LLM), incluyendo Ollama.

Descarga de AnythingLLM

Para descargar AnythingLLM, visita la sección de descargas del proyecto. Allí podrás seleccionar la versión compatible con tu sistema operativo. Al igual que Ollama, AnythingLLM está disponible para macOS, Windows y Linux.

macOS

1. Descarga el archivo DMG desde la página de descargas.
2. Abre el archivo descargado y arrastra la aplicación a la carpeta Aplicaciones.
3. Una vez copiada, abre la aplicación desde la carpeta Aplicaciones para comenzar a configurarla.

Nota: macOS podría mostrar un aviso de seguridad al abrir aplicaciones descargadas desde internet. Si esto ocurre, ve a Preferencias del Sistema > Seguridad y Privacidad y permite la ejecución de la aplicación.

Windows

1. Descarga el archivo instalador desde el sitio web.
2. Ejecuta el archivo descargado para iniciar el asistente de instalación.
3. Sigue las instrucciones en pantalla hasta completar el proceso.

Nota: Si Windows muestra un aviso de seguridad, selecciona “Más información” y luego “Ejecutar de todas formas”.

Linux

En sistemas Linux, sigue estos pasos básicos:

1. Abre una terminal.
2. Ejecuta el siguiente comando para descargar y ejecutar el script de instalación:

curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh 

Nota: Es posible que necesites permisos de administrador para ejecutar el script. En ese caso, prepende sudo al comando anterior.

Conexión de Ollama con AnythingLLM

El último paso es conectar AnythingLLM con Ollama y el modelo Llama 3.2 que descargaste previamente. Sigue estos pasos para realizar la configuración:

1. Crear un espacio de trabajo:
   • Abre la aplicación AnythingLLM.
   • Haz clic en el botón Nuevo espacio de trabajo.
   • Asigna un nombre al espacio de trabajo, por ejemplo, Llama 3.2.
   • Haz clic en Guardar para crear el espacio.

2. Configurar el espacio de trabajo:
   • En la lista de espacios de trabajo, selecciona el nuevo espacio que acabas de crear.
   • Haz clic en el icono de configuración (una rueda dentada) para abrir las opciones.
   • En la sección Configuración del chat, selecciona:
     • Proveedor LLM: Elige Ollama como proveedor.
     • Modelo de chat: Selecciona Llama 3.2. Si no has instalado otros modelos, esta debería ser la única opción disponible.
   • Desplázate hacia abajo y haz clic en el botón Actualizar espacio de trabajo para guardar los cambios.
3. Iniciar una conversación:
   • Con el espacio de trabajo configurado, selecciona la opción Nuevo hilo (New Thread) en la interfaz.
   • Comienza a escribir tus preguntas, y el modelo responderá directamente.

Nota: Si no aparece el modelo Llama 3.2 en la lista, verifica que Ollama esté configurado correctamente y que el modelo haya sido instalado siguiendo los pasos del apartado anterior.

Entender los tamaños de los modelos y cuál elegir

Los modelos grandes de lenguaje, como Llama, están disponibles en diferentes tamaños según el número de parámetros (weights o pesos del modelo), expresados en miles de millones (billions o B). Este tamaño influye directamente en la precisión y en los recursos necesarios para ejecutarlos.

En este tutorial propusimos descargar el modelo Llama 3.2 (3B), que tiene aproximadamente 3 mil millones de parámetros y un tamaño de 2 GB. Sin embargo, para equipos con recursos muy limitados, existe la opción de descargar modelos más pequeños, como el de 1B, que ocupa aproximadamente un 1 GB y puede funcionar incluso con hardware básico. Los comandos para descargar cada uno de los modelos están disponibles en la página oficial de cada modelo en Ollama. Por ejemplo, el comando para instalar el modelo Llama 3.2 (1B) es el siguiente:

ollama run llama3.2:1b

¿Qué implicaciones tienen los tamaños de los modelos?

A modo de guía, en la siguiente tabla se resume lo que se puede esperar y lo que es necesario para ejecutar cada uno de los tamaños de modelo:

Elección simplificada en función de tu tipo de equipo

Según el equipo del que dispones, aquí tienes una guía rápida para seleccionar el modelo adecuado:

• Modelos de 1B: Ideales para equipos con hardware muy básico, como procesadores modernos sin GPU dedicada.
• Modelos de 3B: Funcionan bien en equipos básicos con procesadores modernos y GPUs integradas. Adecuados para tareas ligeras y pruebas rápidas.
• Modelos de 7B: Requieren equipos con recursos moderados, como GPUs básicas o procesadores Apple Silicon Pro o Max. Recomendados para tareas más avanzadas.
• Modelos de 32B: Solo recomendados para usuarios con hardware potente, como GPUs de gama media-alta o Apple Silicon Ultra. Ideales para tareas complejas y resultados más precisos.
• Modelos de 72B o más: Reservados para profesionales con estaciones de trabajo dedicadas y hardware de gama alta, como GPUs de última generación.

En resumen, si tienes un equipo con recursos muy limitados, el modelo de 1B puede ser una buena opción para comenzar. Si dispones de algo más de memoria o potencia, los modelos de 3B y 7B ofrecen un equilibrio entre eficiencia y precisión. Para necesidades avanzadas y hardware potente, los modelos de 32B o mayores son las mejores alternativas.

Conclusiones

Con este tutorial, ahora puedes instalar modelos de chat privados, similares a GPT, directamente en tu ordenador, manteniendo todos tus datos en local y sin necesidad de enviarlos a servidores de terceros. Esta solución es especialmente útil para aplicaciones empresariales o para usuarios que valoran la privacidad de su información. Aunque estos modelos no alcanzan la sofisticación de GPT-4, Claude o Gemini, representan una alternativa robusta y privada que cumple con muchas necesidades de procesamiento de lenguaje natural.

Recuerda que, para obtener un rendimiento óptimo, es necesario contar con un hardware adecuado, especialmente si planeas utilizar modelos más grandes o realizar tareas complejas. Sin embargo, con las opciones adecuadas, podrás experimentar con estos modelos de manera eficiente, manteniendo el control total sobre tus datos y tu privacidad.

¡No dudes en probar esta opción y dar el siguiente paso en el control de tus propios modelos de inteligencia artificial!

Nota: La imagen de este artículo fue generada utilizando un modelo de inteligencia artificial.