Las redacciones de medios ya usan IAs en varios de sus modelos. Las utilizan para variedad de objetivos, desde sumarización, clasificación de patrones en documentos, traducción, generación de imágenes y mucho más.
Pero está el debate de la protección de los datos que les pasamos a esos grandes modelos de lenguaje y que terminan tragándose para su propio entrenamiento.
Cuando se chatea con uno de ellos, las conversaciones y los datos que puedan introducirle pasan a formar, de alguna manera, parte de su conocimiento. Por ello las empresas no suelen usar información sensible.
Esto es fundamental para el periodismo o los investigadores.
Hay precedentes problemáticos como las demandas del New York Times a OpenAI, aunque también los hay para construir alianzas con el objetivo de hacer más inteligentes a las IAs como los acuerdos del Financial Times con OpenAI
Digamos entonces que cómo periodista quiero alejarme de esos dos ejemplos y mantener mi trabajo bajo control estricto hasta lograr su depuración y publicación final.
Es decir, mis datos provenientes de una investigación los puedo procesar y extraer de ellos más información relevante sin tener que pasarlo por un modelo privado.
Allí aparece el enfoque del open source.
Y la comunidad está altamente activa. Pero es que aquí hay actores como Meta, con su potente Llama, que han decidido sacudir el mundo de los LLMs liberando sus modelos de toda carga de pago.
El más reciente presentado, un modelo de 405 billones de parámetros, LLM para el que muchos no tendrán el hardware necesario para correrlo de inmediato por su tamaño.
Pero hay modelos más pequeños, manejables y potentísimos, lo mejor, es que puedes usarlos rápidamente en local, en tu propia máquina, en tu propio Windows, Linux o Mac.
La respuesta es LM Studio.
LM Studio es un gestor de modelos de IAs que te facilita la instalación en tu ordenador. No es necesario ser un experto en código para hacerlo y puedes ejecutar una instalación tan fácil como cualquier otra aplicación corriente, y eso lo hace claramente atractivo, además de la potencia de su interfaz y las opciones.
No, miento, la instalación es extremadamente sencilla.
Aquí algunas consideraciones del gestor:
¿LM Studio recopila algún dato?
Complete el formulario de solicitud de LM Studio @ Work y nos comunicaremos con usted lo antes posible. Concédanos un tiempo para responderle.
- Mac con Apple Silicon (M1/M2/M3) y macOS 13.6 o posterior
- PC con Windows/Linux con un procesador compatible con AVX2 (normalmente PC más nuevas)
- Se recomiendan 16 GB o más de RAM. Para PC, se recomiendan 6 GB o más de VRAM.
- GPU NVIDIA/AMD compatibles
..::Instalado y corriendo con una NVIDIA GForce GTX::..
Mi ordenador, aunque tiene una RAM de 16 gigas, la GPU es una Nvidia GEForce GTX, una pequeña anciana en comparación con la familia RTX 30 - 40 , pero que aún me responde.
Y me ha funcionado incluso para correr en el LM Studio el Llama 3.1 de 7B de Meta.
Obviamente la velocidad de respuesta en la ventana de contexto del chat no es apabullante, pero es totalmente aceptable.
Pero incluso el propio LM Studio permite configurar el uso equilibrado entre RAM y GPU.
..::Periodismo procesando en local::..
Enmarco este breve texto en el ámbito periodístico puesto que es una de mis labores, pero claramente el enfoque aplica para investigación, desarrollo, inteligencia de negocios, salud, y cualquier área donde se manejen datos sensibles y quieran protegerse tanto la información como los derechos de autor.
La multiplicidad de usos que puede dársele va ligado a la creatividad de cada uno.
Por ejemplo, entre los comunes está la sumarización de grandes bloques de texto, análisis semánticos de discursos. Y cuando se tienen datos de alguna investigación en curso, pues aportan mucho a la hora de hallar patrones o relaciones entre datos.
Cada redactor podrá usarlo como mejor le parezca y podrá tener la seguridad de que lo que está procesando en el LM Studio estará bajo su control, para luego trasladarlo finalmente a su soporte final de publicación, sea web, impreso, radial, podcast, redes y más.
No obstante es necesario recalcar que, aunque se esté trabajando con LLMs será siempre necesario la revisión humana y la confirmación de que no exista alucinación alguna en la información definitiva a publicar.
Carlos Moreno
No hay comentarios:
Publicar un comentario