Un LLM basado en redes neuronales de inteligencia artificial generativa, que se utiliza en una amplia gama de aplicaciones, desde asistentes virtuales o generación automática de contenidos hasta análisis de información.
Descripción
Expresado de forma sencilla, un GPT es una ventana de chat, capaz de optimizar el comportamiento de ChatGPT, gracias a la información especializada que le hemos aportado. Es un desarrollo de OpenAI a partir de la tecnología conocida como arquitectura Transformer, que en su momento desarrolló y liberó Google.
Por extensión, también llamamos GPT a una ventana de chat, personalizada con prompts y fuentes de información sobre un ámbito determinado, lo cual permite optimizar las respuestas del modelo. Estos GPTs personalizados pueden utilizarse de forma pública o privada.
Características
GPT se sustenta en un modelo de machine learning para el procesamiento de lenguaje natural; dicho modelo se conoce como arquitectura Transformer.
Las características fundamentales de esta tecnología son:
Modelo generativo
- Es capaz de crear texto nuevo y original, en lugar de sólo recuperar o clasificar información de otras fuentes.
Pre-entrenamiento con grandes volúmenes de datos
- La enorme cantidad de fuentes y de datos que se han empleado en su pre-entrenamiento le permite tener un conocimiento amplio antes de ajustarse a aplicaciones específicas.
Comprensión contextual
- Utiliza información de contexto para generar respuestas más precisas y naturales.
Escalabilidad
- Puede aplicarse a diferentes sectores y ser mejorado mediante ajustes específicos.
Versatilidad
- Se puede usar la tecnología para actividades de lo más diversas, como traducciones automáticas, resumen de textos, redacción de mensajes de correo electrónico, atención al cliente, etc.
Limitaciones
Dependencia de datos de entrenamiento
- Si el modelo no está actualizado, los textos generados podrían ofrecer información obsoleta.
Posibles sesgos
- Los textos generativos pueden reflejar sesgos derivados de las fuentes usadas para el entrenamiento del modelo.
Razonamiento lógico imperfecto
- Aunque es innegable la potencia de GPT para analizar y generar textos, no es una herramienta especializada en el cálculo o la deducción, por lo cual puede generar respuestas erróneas.
Tipos de fuentes
Cuatro son los principales tipos de fuentes de información que se pueden utilizar para personalizar un GPT.
Instrucciones (instructions)
Son la fuente primordial de información para ChatGPT y consisten, básicamente, en un prompt. Por lo tanto, no pueden faltar en ninguna interacción con el LLM.
Conocimiento (knowledge)
Consiste en el acervo de conocimiento que emplea ChatGPT para generar respuestas predictivas.
Este conocimiento proviene, en primer lugar, de la fase inicial de entrenamiento, pero puede ser complementado con nueva información especializada que le aportemos al modelo con el fin de personalizarlo. Esta información nueva se cargará por medio de archivos, ya sea de texto o de imagen, mediante la técnica conocida como RAG.
Capacidades (capabilities)
Son un conjunto de técnicas concretas que podemos emplear a discreción, en combinación con las demás fuentes de información, para potenciar las respuestas del GPT.
Ejemplos de estas técnicas son Code Interpreter, Dall-E o la búsqueda en internet con la ayuda de Bing.
Acciones (actions)
Las acciones se tratan de una forma de aportar información al GPT que tiene un importante componente técnico.
El funcionamiento normal de una acción es a través de una API, por lo cual su implementación requiere ciertas competencias de programación o informática.
Fases
El desarrollo de un GPT consiste en un método de tres fases sucesivas.
1. Pre-entrenamiento (pre-training)
El modelo se entrena inicialmente con una gran cantidad de datos textuales, obtenidos a partir de internet, libros completos, artículos y otras fuentes. Durante esta fase, el modelo aprende la sintaxis, gramática, las estructuras semánticas y las relaciones entre palabras y frases. Este proceso es lo que permite que GPT genere texto coherente y contextualmente relevante, sin necesidad de reglas de programación informática.
2. Ajuste fino (fine tuning)
Para adaptar GPT a tareas concretas, se le puede aplicar un entrenamiento adicional con la ayuda de datos más específicos, como documentación de ciertos procesos empresariales, datos de clientes o literatura especializada.
3. Generación y predicción de texto
Cuando un usuario introduce una pregunta o petición, GPT procesa la información, analiza el contexto y genera una respuesta adecuada.
Hay que tener muy en cuenta que el texto generado es predictivo; en otras palabras, GPT elige la respuesta con mayor probabilidad de contestar la pregunta introducida.