Inteligencia Artificial Generativa - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? VIII

Este artículo es el octavo de una series acerca de De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Inteligencia Artificial Generativa

Hasta ahora, hemos visto las bondades de ChatGPT, Gemini y otras herramientas relacionadas, como "Code Tutor" o "Code Copilot", para aprender un nuevo lenguaje de programación o mejorar tu eficiencia como programador. Sin embargo, existen muchos tipos de inteligencia artificial.

¿Qué tipo de inteligencia artificial son ChatGPT o Gemini?

Son modelos de IA dentro del campo de la inteligencia artificial generativa y, en concreto, de la IA basada en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés) .

Según Wikipedia, la IA generativa es:

Un tipo de sistema de inteligencia artificial (IA) capaz de generar texto, imágenes u otros medios en respuesta a comandos.1​2​ Los modelos de IA generativa aprenden los patrones y la estructura de sus datos de entrenamiento de entrada y luego generan nuevos datos que tienen características similares.

Pero..

¿Qué tipo de IA es la IA generativa?

A grandes rasgos, existen tres tipos de IA según su capacidad:

IA General (AGI - Artificial General Intelligence):

Aquí entramos en conceptos más cercanos a la ciencia ficción. Aún no existe, pero sería una IA capaz de comprender, aprender y aplicar conocimiento en cualquier tarea intelectual que el ser humano pueda realizar.

IA Superinteligencia (ASI - Artificial Superintelligence):

Esta IA sería una evolución de la anterior; en este caso, superaría significativamente la inteligencia humana en todos los aspectos. Por lo tanto, podría resolver problemas que los humanos no pueden y tomar decisiones complejas de manera autónoma. Es un concepto más especulativo y aún lejano.

IA Débil o Estrecha (Weak/Narrow AI):

Aquí es donde se sitúan las herramientas de las que estamos hablando. La IA Generativa, los chatbots y, en definitiva, herramientas como ChatGPT, Gemini, Copilot, etc., están diseñadas para realizar tareas específicas, y por lo tanto, su alcance es limitado. No poseen conciencia ni capacidad de autoaprendizaje fuera de su ámbito.
Otros ejemplos: asistentes virtuales (Siri, Alexa), sistemas de recomendación, reconocimiento facial.

Pero no nos podemos olvidar de otro elemento fundamental dentro de la IA que ha hecho que los Chatbots sean hoy en día tan útiles.

Machine Learning y Aprendizaje Profundo (Deep Learning).

El Machine Learning (ML) desempeña un papel esencial en los chatbots como ChatGPT, ya que facilita que estos sistemas aprendan, entiendan y generen respuestas de manera coherente y natural utilizando grandes cantidades de datos como entrada.

Aprendizaje a partir de datos

Entrenamiento de modelos: En el caso de ChatGPT, está basado en un modelo llamado GPT (Generative Pre-trained Transformer), que utiliza técnicas de machine learning, específicamente aprendizaje profundo (deep learning). Este modelo se entrena con grandes cantidades de texto (libros, artículos, páginas web, etc.), lo que le permite aprender patrones del lenguaje, desde la gramática hasta el significado contextual de las palabras y frases.
Dataset masivo: Los chatbots como ChatGPT se entrenan con millones de ejemplos de conversaciones, lo que les permite generar respuestas contextualmente apropiadas en una variedad de situaciones.

Transformers: La arquitectura clave

Transformers son un tipo de modelo de aprendizaje profundo que ha revolucionado el campo del procesamiento de lenguaje natural (NLP) y que es la base de ChatGPT. Los transformers utilizan mecanismos de atención para procesar el texto, lo que permite que el modelo identifique y priorice la información más relevante en una secuencia de palabras.
Contexto: Los transformers pueden "entender" largas secuencias de texto, manteniendo el contexto de la conversación a lo largo de varios turnos. Esto es fundamental para que se puedan mantener conversaciones fluidas con este tipo de chatbots.

Generación de lenguaje natural (NLG)

Generación de texto: El machine learning en chatbots permite generar respuestas en lenguaje natural. Una vez que el modelo ha aprendido a partir del conjunto de datos, puede crear respuestas novedosas a partir de las entradas del usuario. Esto es lo que se denomina IA generativa.

Predicción de la siguiente palabra: El modelo genera texto prediciendo la próxima palabra o secuencia de palabras basada en lo que ha aprendido del contexto anterior. Gracias a las capacidades de machine learning, puede generar frases que no están predefinidas, sino que son creadas de forma dinámica.

Ajuste fino (Fine-tuning)Ajuste del modelo: El modelo generado se ajusta mediante machine learning para mejorar su rendimiento en tareas específicas, como la programación en un determinado lenguaje o la conversación en lenguaje natural. Esto se conoce como fine-tuning y se utiliza para mejorar modelos específicos.
Entrenamiento supervisado y reforzado: En muchos casos, los modelos como ChatGPT también se afinan utilizando datos etiquetados por humanos (entrenamiento supervisado) y técnicas de aprendizaje por refuerzo (Reinforcement Learning), donde se le da retroalimentación al modelo sobre si sus respuestas son útiles o correctas.

¿Dónde encaja el aprendizaje profundo dentro de la IA?