Aviso: imagen de portada y artículo generado en su mayor parte por una de «esas IAs»

En el ámbito de la educación y la tecnología, la inteligencia artificial (IA) está revolucionando la forma en que aprendemos y enseñamos. Una de las decisiones cruciales al implementar IA es elegir entre modelos basados en la nube y aquellos que se ejecutan en máquinas locales. A continuación, exploraremos las ventajas y desventajas de cada opción, y analizaremos el caso de Mistral, una opción europea interesante, comparándola con la competencia internacional.

Los modelos de lenguaje a gran escala

ChatGPT, DeepSeek, Gemini y otros son llamados Modelos de Lenguaje a Gran Escala. Básicamente permiten que un usuario interactúe con un ordenador en un lenguaje parecido al que usa para comunicarse con otro ser humano. Para lograr esto son entrenados con grandes cantidades de texto y reglas que les permiten producir nueva información a partir de la que ya tienen. Se clasifican por la cantidad de parámetros llamados «tokens»  medidos ya en billones que son capaces de manejar simultáneamente. Su uso principal es responder preguntas, realizar resúmenes de textos, hacer traducciones y reproducir contenido.

IA en la Nube

Ventajas

1. Acceso a Potencia de Cómputo Escalable:
   Los modelos de IA en la nube se benefician de infraestructuras potentes y escalables, lo que permite ejecutar tareas intensivas en recursos sin necesidad de contar con hardware local costoso o de última generación.

2. Actualizaciones y Mantenimiento Continuo:
   Los proveedores de servicios en la nube se encargan de actualizar y mantener los sistemas, facilitando el acceso a las últimas versiones y mejoras de los modelos de IA sin requerir intervención técnica por parte del usuario.

3. Facilidad de Integración y Uso:
   Muchos proveedores ofrecen APIs y herramientas que simplifican el desarrollo de aplicaciones y la integración de la IA en plataformas educativas.

4. Acceso Remoto y Colaboración:
   La nube permite que estudiantes y profesores accedan a las herramientas de IA desde cualquier lugar, potenciando el aprendizaje colaborativo y a distancia.

Inconvenientes

1. Dependencia de Conectividad:
   Se requiere una conexión a Internet estable y de alta velocidad para garantizar el correcto funcionamiento, lo que puede limitar su uso en zonas con conectividad deficiente.

2. Costes Recurrentes:
   Aunque la inversión inicial puede ser baja, el uso continuo de servicios en la nube puede generar gastos recurrentes que, a lo largo del tiempo, podrían superar el coste de una infraestructura local.

3. Preocupaciones de Seguridad y Privacidad:
   Al manejar datos sensibles, es imprescindible que el proveedor cumpla con normativas de seguridad y protección de datos (por ejemplo, el RGPD en Europa).

Ejecución Local de Modelos de IA

Implementar modelos de IA en máquinas locales es una opción atractiva, especialmente cuando se dispone de soluciones como Ollama o LM Studio, que permiten gestionar la ejecución de modelos sin depender exclusivamente de la nube.

Ventajas

1. Control Total del Entorno:
   Ejecutar modelos de IA localmente otorga un control completo sobre la configuración, actualizaciones y, sobre todo, la privacidad de los datos, algo fundamental en entornos educativos.

2. Independencia de la Conectividad:
   Al tener los modelos instalados localmente, no se depende de una conexión a Internet para su funcionamiento, lo que garantiza una mayor estabilidad en áreas con conectividad limitada.

3. Costos a Largo Plazo Más Predecibles:
   Aunque la inversión inicial en hardware puede ser elevada, a largo plazo los costes son fijos y, en muchos casos, resultan más económicos que los gastos recurrentes de la nube.

4. Implementación con Herramientas Especializadas:
   Soluciones como Ollama y LM Studio ofrecen interfaces amigables y optimizaciones para ejecutar modelos de IA, facilitando la instalación y gestión de estos modelos en hardware local.

Inconvenientes

1. Requisitos de Hardware y Mantenimiento:
   Ejecutar modelos de IA localmente exige contar con hardware adecuado (especialmente GPUs de alto rendimiento), lo que puede representar una inversión considerable. Además, el mantenimiento y las actualizaciones son responsabilidad del usuario o la institución.

2. Escalabilidad Limitada:
   A diferencia de la nube, la escalabilidad de recursos en una infraestructura local es limitada y, para aumentar la capacidad de procesamiento, puede requerirse una inversión adicional en hardware.

3. Curva de Aprendizaje:
   La implementación y optimización de modelos en máquinas locales pueden requerir conocimientos técnicos avanzados, lo que podría ser una barrera para algunos usuarios o instituciones con recursos técnicos limitados.

Coste y Hardware: Comparativa de Modelos

Para quienes opten por la ejecución local, es importante conocer qué tipo de hardware es necesario para ejecutar distintos modelos de IA con fluidez. A continuación, se presenta una tabla comparativa que relaciona algunos modelos populares en función de su tamaño y el hardware recomendado:

Modelo	Billones de Parámetros	Tamaño descarga (GB)	Requisitos de Hardware
DeepSeek-R1	1,5B	1,1	CPU potente, 16GB RAM
DeepSeek-R1	7B	4,7	GPU con 8GB VRAM, 32GB RAM
DeepSeek-R1	70B	50	GPU con 24GB VRAM, 64GB RAM
DeepSeek-R1	671B	300	GPU con 300GB VRAM, 128GB RAM
Llama 3.2	1B	2,8	CPU estándar, 8GB RAM
Llama 3.2	7B	13	GPU con 8GB VRAM, 16GB RAM
Llama 3.2	70B	90	GPU con 24GB VRAM, 64GB RAM
Qwen	1,5B	1,5	GPU con 12GB VRAM, 16GB RAM 8
Qwen	7B	7	GPU con 16GB VRAM, 32GB RAM 9
Gemma	2B	2	GPU NVIDIA T4, 16GB RAM 7
Gemma	9B	9	GPU NVIDIA L4, 32GB RAM 7
Phi-3	1,5B	1,8	GPU con 4GB VRAM, 8GB RAM 10
Phi-3	7B	7	GPU con 24GB VRAM, 32GB RAM 10
Mistral	7B	13,4	GPU con 6GB VRAM, 16GB RAM 11
Mistral	123B	250	GPU con 250GB VRAM, 128GB RAM 12

Nota de un humano que ha probado algunos de estos modelos: Los mejores resultados se consiguen con modelos por encima de los 10 billones de parámetros. Con un ordenador «reciente» con 16Gb RAM sin una tarjeta gráfica dedicada las respuestas a preguntas «sencillas» se demoran más de 5 minutos! Los modelos con menos parámetros suelen «alucinar» y dar respuestas equivocadas, sobre todo si no tienen acceso a internet.

Mistral: Una Opción Interesante para Europa

Dentro del panorama de modelos de IA, Mistral se posiciona como una opción atractiva para aquellos que trabajan en Europa. Algunas de sus ventajas son:

• Cumplimiento Normativo y Protección de Datos:
  Mistral está diseñado para cumplir con las estrictas normativas europeas, garantizando una mayor seguridad en el manejo de datos sensibles en entornos educativos.

• Soporte Adaptado al Contexto Europeo:
  Al estar orientado al mercado europeo, ofrece un soporte cercano y adaptado a las necesidades y características del entorno tecnológico y educativo en Europa.

• Fomento de la Innovación Local:
  Optar por soluciones desarrolladas en Europa impulsa la innovación local y contribuye al fortalecimiento del ecosistema tecnológico, ofreciendo una alternativa competitiva frente a proveedores internacionales.

Es importante señalar que, aunque Mistral destaca en términos de cumplimiento normativo y adaptación local, la elección entre esta y otras soluciones dependerá de los recursos disponibles y las necesidades específicas de cada institución educativa.

Conclusión

Tanto la ejecución de modelos de IA en la nube como en máquinas locales presentan ventajas e inconvenientes que deben evaluarse en función de las necesidades y recursos de cada entorno educativo. La nube ofrece escalabilidad, facilidad de integración y acceso remoto, mientras que la ejecución local brinda mayor control, seguridad de datos y costes más predecibles a largo plazo.

Para quienes consideren la implementación local, soluciones como Ollama y LM Studio son opciones valiosas, ya que facilitan la ejecución de modelos de IA y permiten optimizar el hardware necesario. La tabla comparativa anterior ofrece una visión general de los requerimientos para distintos modelos, ayudando a tomar decisiones informadas en función de las capacidades y el presupuesto disponible.

Adoptar la solución adecuada implica un análisis cuidadoso de ventajas, limitaciones y objetivos. En última instancia, el objetivo es potenciar la educación a través de la tecnología, garantizando que las herramientas de IA se utilicen de manera ética, segura y eficaz.