¿Cuánto cuesta usar un LLM? ¿Cuánto cuesta la inteligencia artificial? Como muchas cosas, depende de varias dimensiones, y en este post lo veremos.
Los modelos como Chatgpt son modelos LLM, que significa "Large Language Model" (Modelo de Lenguaje de Gran Escala). Un modelo LLM es una clase de inteligencia artificial (IA) que se especializa en procesar, entender y generar lenguaje humano. Estos modelos son parte del campo del procesamiento del lenguaje natural (NLP) y funcionan mediante el análisis de enormes cantidades de texto para aprender patrones de lenguaje, gramática, y contexto.
Características clave de las LLMs:
Aprendizaje Automático y Redes Neuronales: Las LLMs se basan en redes neuronales profundas, específicamente en arquitecturas como las redes neuronales recurrentes (RNN) o las redes de transformadores. Estas redes son entrenadas con extensos conjuntos de datos textuales.
Capacidad de Generación de Texto: Una vez entrenadas, las LLMs pueden generar texto que es a menudo indistinguible del escrito por humanos. Pueden continuar cadenas de texto, responder preguntas, resumir textos, traducir entre idiomas, y más.
Entendimiento Contextual: A diferencia de los modelos de lenguaje más simples, las LLMs pueden entender y generar respuestas basadas en el contexto, lo que les permite mantener conversaciones coherentes y relevantes.
Aplicaciones Diversas: Son utilizadas en una amplia gama de aplicaciones, desde asistentes virtuales y herramientas de escritura automatizada hasta análisis de sentimientos y sistemas de recomendación.
Desafíos Éticos y Técnicos: A pesar de su utilidad, las LLMs presentan desafíos, incluyendo la gestión de sesgos en los datos de entrenamiento, problemas de privacidad, y el consumo de recursos durante el entrenamiento.
Voy a empezar a lanzar patrocinios en la newsletter.
Puedes aparecer aquí
Si estás interesado, o tienes dudas, escríbeme.
Ejemplos populares de modelos LLM
Algunos ejemplos populares de LLMs pueden ser los modelos de OpenAI's GPT (Generative Pre-trained Transformer) series, como GPT-3 y GPT-4, y BERT (Bidirectional Encoder Representations from Transformers) de Google, entre otros.
Limitaciones de los LLM
Cómo hemos comentado, los LLM son modelos de lenguaje natural, y por lo tanto no están entrenados para trabajar con números. Le puedes subir csv con fuentes de datos, y gracias a su entrenamiento en Python (lenguaje de programación más utilizado para tratamiento de datos), puede hacer cálculos, pero falla en operaciones básicas. Así que estos modelos están aún muy lejos de que les puedas subir los datos de tu empresa para responderte preguntas aritméticas.
Esta misma semana ha habido mucho revuelo, con los nuevos asistentes personalizados, hasta el punto de que Sam Altman, Ceo Open AI, ha tenido que decir que paraban las altas de nuevos usuarios de pago.
Cuando escribí esto, pensaba que esto había sido una noticia, pero la noticia ha sido que el board de OpenAi lo ha invitado a dejar su puesto de Ceo, por falta de transparencia y muchas cosas opacas en el asunto.
https://openai.com/blog/openai-announces-leadership-transition
Nos viene un buen culebrón a lo Jobs cuando salió de Apple.
Esta claro que construir un LLM desde 0, ya no tiene sentido, así que ¿cómo podemos apoyarnos con OpenaAI para nuestros modelos? ¿Cuanto cuesta?
Desde bien pronto, Open Ai, pensó en la necesidad de que otras aplicaciones interactuaran con ellos y creo una API, bien documentad.
Para interactuar con ella, se hace a través del playground o llamadas api. Aquí puedes interactuar con ella y ver la documentación:
https://platform.openai.com/playground
Ahora después de esta intro vamos al tema principal, que tratamos hoy.
¿Cuánto cuesta una inteligencia artificial?
Para un caso de uso típico en el que un usuario introduce una consulta y espera una respuesta de aproximadamente de 250 palabras, el coste varía de $0.03 a $3.60.
Los diferentes modelos tienen diferentes costes. Además, el tamaño de la ventana de contexto es un factor importante. Aquí puedes hacer pruebas de los costes:
Podemos limitar, el tamaño de las respuestas y así los costes, con una ventana de contexto. La ventana de contexto, es una manera elegante de decir la cantidad de información de fondo que el usuario puede proporcionar a la IA.
Los textos más largos cuestan más. Un artículo de 500 palabras cuesta $8.40 con la versión más elegante de GPT-4 y $0.07 con Llama2, el modelo open source de Facebook.
Hay una diferencia de coste de 120 veces entre la IA de GPT4 y la versión gratuita.
Pero ¿Cuál es mejor?
Depende del caso de uso y de la cantidad de optimización que uno esté dispuesto a comprometer con el modelo.
Estos precios no son fijos. A principios de esta semana, OpenAI anunció una reducción de costes del 3x - una tendencia que continuará a medida que se optimice la tecnología y el hardware avance.
En relación con otros costes de infraestructura, estas tarifas pueden ser significativas, y tener un impacto en el margen bruto de la empresa, por lo que es importante acotar bien estos costes, y tenerlos en cuenta cuando definamos nuestros pricing, si no queremos ver mermada nuestra rentabilidad por culpa de una nueva funcionalidad añadida.
Espero que te haya gustado este artículo.
Si quieres llegar a una comunidad de más de 2000 Emprendedores, trabajadores del sector tecnológico, inversores y ejecutivos de grandes compañías en España, patrocina esta newsletter.