Problemas de usar IA Generativa como asistente a la programación - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? X

Este artículo es el décimo de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el primer artículo.

 Los problemas de los chatbots basados en IA generativa no se limitan a uno solo, pero en esta captura de pantalla se resumen los más destacados:

Me atrevería a decir que incluso pueden ser incorrectas o tener poco que ver con la realidad. Estas "alucinaciones" de la IA se notan especialmente en preguntas como "¿Cuál es el/la X más antiguo/a de X?", para las cuales es mejor acudir a Wikipedia. Estas herramientas a veces inventan datos o, si no han sido entrenadas con información fiable, pueden producir información de dudosa calidad. Sabemos que internet es una fuente invaluable, pero no siempre es completamente fiable, y estos modelos de lenguaje han sido en gran parte entrenados con contenido de internet.

¿Es esto tan relevante a la hora de generar código?

En mi opinión, no tanto. Quizás no siempre obtengas el mejor código, pero suele ser una versión útil para prototipar. Claro, tendrás que revisarlo, probarlo y, en ocasiones, adaptarlo o optimizarlo. Aun así, considero que es un punto de partida suficientemente sólido, probablemente mejor que otros códigos que podrías encontrar buscando en Google. Por tanto, para mí este problema no es tan grave como el siguiente.

Confidencialidad

Nos advierten que el código que copiemos en herramientas como ChatGPT podría usarse en futuras versiones. Esto ya es más serio, pues el código es propiedad intelectual y, para muchas empresas, uno de sus activos más importantes. En contextos comunes como la revisión de código, generación de tests unitarios, o control de excepciones, estaríamos cediendo código a terceros. Esto podría no ser un problema para algunas empresas, sobre todo si su software no les da una ventaja competitiva, o si publican código en fuentes abiertas. Pero para quienes esto representa un riesgo, sigue habiendo opciones.

¿Qué podemos hacer?

Primero, educar a los empleados. Todos deben conocer las implicaciones de usar estas herramientas, especialmente evitando copiar código o datos sensibles como los protegidos por la LOPD. Además, es clave configurar estas herramientas para desactivar el uso de las consultas en el entrenamiento o el almacenamiento del historial.

Segundo, usar tecnologías de seguridad en la nube, como Netskope, que pueden evitar la pérdida de información bloqueando la copia o el pegado de código en estos contextos.

Perder estas herramientas también significa perder sus ventajas. Y no es cuestión de sacrificar eficiencia por seguridad; está claro que las IA llegaron para quedarse, y las empresas que no las adopten pueden quedar rezagadas. Como ya se dice: "La IA no va a quitar empleos, pero quienes la usen sí se los quitarán a quienes no lo hagan".

Tercero, en lugar de usar chatbots en línea, se pueden desplegar modelos localmente o en una nube privada, accesibles solo para quienes designemos. Hablaré más de esta opción en otro artículo.

Otros problemas menores

Ejecución en tiempo real: Aunque los chatbots generan y comprenden código, no pueden ejecutarlo o probarlo en tiempo real. Esto significa que el código generado debe validarse en un IDE como VSCode. Existen otros flujos e IDEs específicos, de los cuales también hablaré en otro artículo.

Conocimiento estático: ChatGPT no tiene acceso a internet ni a actualizaciones recientes de lenguajes de programación o bibliotecas, por lo que su conocimiento se limita a los datos con los que fue entrenado. Esto puede dar lugar a sugerencias obsoletas o incompatibles con versiones actuales de un lenguaje, aunque no es común.

Falta de contexto prolongado: En una conversación extensa, los chatbots puede perder el contexto, lo que resulta en respuestas incoherentes o repetitivas.

Ambigüedad en las preguntas: Es fundamental proporcionar instrucciones claras, razón por la cual la "ingeniería de prompts" está en auge. Sin instrucciones precisas, los chatbots pueden generar código que no se ajusta a la necesidad real.

Limitaciones de personalización: Modelos generales como ChatGPT no pueden adaptarse a un estilo de programación específico o a las preferencias de un equipo en particular, algo que solo se lograría entrenando un modelo con código propio, lo cual requiere gran cantidad de datos. Esto es más viable para grandes empresas con una larga trayectoria en estándares de calidad.

Lenguajes menos populares: Los chatbots pueden no ser muy útiles en lenguajes poco conocidos o específicos, aunque no debería ser un problema para lenguajes populares como Python. Nos interesa, además de un lenguaje popular, que tenga una gran base de código histórico para entrenar a estos modelos.

Code Copilot vs Chatbots - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? IX

Este artículo es el noveno de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el primer artículo.

Code Copilot vs Chatbots

Al comparar los resultados con el chatbot, se observa una mejora significativa en el uso de Code Copilot. Si usamos el prompt:

¿Podrías hacer una revisión de código como si fueras un programador experto?

Es cierto que, si mejoramos el prompt solicitando sugerencias específicas, es probable que obtengamos resultados similares. Pero, ¿en qué se diferencia el chatbot de esta herramienta? El chatbot es una herramienta generalista, más versátil, mientras que Code Copilot está diseñado específicamente para desarrolladores. El primero ha sido entrenado con todo tipo de textos provenientes de webs, ensayos académicos, libros, entre otros, para poder entablar conversaciones sobre cualquier tema. Por otro lado, Code Copilot ha sido entrenado con código de proyectos públicos subidos a GitHub y con manuales de programación. Además, sus modelos han sido ajustados (fine-tuning) con retroalimentación de desarrolladores experimentados.

Existe otra versión de Copilot que se distribuye como plugin para IDEs, como por ejemplo Visual Studio Code. El flujo de trabajo de esta versión es muy distinto a lo que estamos haciendo en esta serie de artículos. A medida que el desarrollador escribe dentro de un archivo .py, la herramienta ofrece sugerencias de autocompletado, incluso de funciones completas. Esta funcionalidad no es nueva; recuerdo que hace más de quince años los IDEs ya incorporaban ayudas similares. La diferencia es que ahora detrás están los Modelos de Lenguaje de Gran Escala (LLM), lo que sugiere que las recomendaciones sean más ricas y no tan mecánicas. ¿Serán estas sugerencias más acertadas?

Una de las críticas más importantes que ha recibido Copilot es que ha sido entrenado con código de GitHub, pero este código no necesariamente es de calidad. A menudo encontramos código deficiente en GitHub, lo cual es comprensible en algunos casos. Por ejemplo, si estás creando una prueba de concepto, solo quieres verificar algo rápidamente, y es natural que no dediques mucho tiempo a perfeccionar el código. Es posible que sea un código que no compartas con nadie y que probablemente no volverás a usar, por lo que no lo vas a mantener.

En cualquier caso, esta versión de la herramienta está fuera del alcance de este artículo, ya que es de pago y no ofrece nada novedoso en comparación con lo que hemos analizado.

Inteligencia Artificial Generativa - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? VIII

Este artículo es el octavo de una series acerca de De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Inteligencia Artificial Generativa

Hasta ahora, hemos visto las bondades de ChatGPT, Gemini y otras herramientas relacionadas, como "Code Tutor" o "Code Copilot", para aprender un nuevo lenguaje de programación o mejorar tu eficiencia como programador. Sin embargo, existen muchos tipos de inteligencia artificial.

¿Qué tipo de inteligencia artificial son ChatGPT o Gemini?

Son modelos de IA dentro del campo de la inteligencia artificial generativa y, en concreto, de la IA basada en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés) .

Según Wikipedia, la IA generativa es:

Un tipo de sistema de inteligencia artificial (IA) capaz de generar texto, imágenes u otros medios en respuesta a comandos.1​2​ Los modelos de IA generativa aprenden los patrones y la estructura de sus datos de entrenamiento de entrada y luego generan nuevos datos que tienen características similares.

Pero..

¿Qué tipo de IA es la IA generativa?

A grandes rasgos, existen tres tipos de IA según su capacidad:

IA General (AGI - Artificial General Intelligence):

Aquí entramos en conceptos más cercanos a la ciencia ficción. Aún no existe, pero sería una IA capaz de comprender, aprender y aplicar conocimiento en cualquier tarea intelectual que el ser humano pueda realizar.

IA Superinteligencia (ASI - Artificial Superintelligence):

Esta IA sería una evolución de la anterior; en este caso, superaría significativamente la inteligencia humana en todos los aspectos. Por lo tanto, podría resolver problemas que los humanos no pueden y tomar decisiones complejas de manera autónoma. Es un concepto más especulativo y aún lejano.

IA Débil o Estrecha (Weak/Narrow AI):

Aquí es donde se sitúan las herramientas de las que estamos hablando. La IA Generativa, los chatbots y, en definitiva, herramientas como ChatGPT, Gemini, Copilot, etc., están diseñadas para realizar tareas específicas, y por lo tanto, su alcance es limitado. No poseen conciencia ni capacidad de autoaprendizaje fuera de su ámbito.
Otros ejemplos: asistentes virtuales (Siri, Alexa), sistemas de recomendación, reconocimiento facial.

Pero no nos podemos olvidar de otro elemento fundamental dentro de la IA que ha hecho que los Chatbots sean hoy en día tan útiles.

Machine Learning y Aprendizaje Profundo (Deep Learning).

El Machine Learning (ML) desempeña un papel esencial en los chatbots como ChatGPT, ya que facilita que estos sistemas aprendan, entiendan y generen respuestas de manera coherente y natural utilizando grandes cantidades de datos como entrada.

Aprendizaje a partir de datos

Entrenamiento de modelos: En el caso de ChatGPT, está basado en un modelo llamado GPT (Generative Pre-trained Transformer), que utiliza técnicas de machine learning, específicamente aprendizaje profundo (deep learning). Este modelo se entrena con grandes cantidades de texto (libros, artículos, páginas web, etc.), lo que le permite aprender patrones del lenguaje, desde la gramática hasta el significado contextual de las palabras y frases.
Dataset masivo: Los chatbots como ChatGPT se entrenan con millones de ejemplos de conversaciones, lo que les permite generar respuestas contextualmente apropiadas en una variedad de situaciones.

Transformers: La arquitectura clave

Transformers son un tipo de modelo de aprendizaje profundo que ha revolucionado el campo del procesamiento de lenguaje natural (NLP) y que es la base de ChatGPT. Los transformers utilizan mecanismos de atención para procesar el texto, lo que permite que el modelo identifique y priorice la información más relevante en una secuencia de palabras.
Contexto: Los transformers pueden "entender" largas secuencias de texto, manteniendo el contexto de la conversación a lo largo de varios turnos. Esto es fundamental para que se puedan mantener conversaciones fluidas con este tipo de chatbots.

Generación de lenguaje natural (NLG)

Generación de texto: El machine learning en chatbots permite generar respuestas en lenguaje natural. Una vez que el modelo ha aprendido a partir del conjunto de datos, puede crear respuestas novedosas a partir de las entradas del usuario. Esto es lo que se denomina IA generativa.

Predicción de la siguiente palabra: El modelo genera texto prediciendo la próxima palabra o secuencia de palabras basada en lo que ha aprendido del contexto anterior. Gracias a las capacidades de machine learning, puede generar frases que no están predefinidas, sino que son creadas de forma dinámica.

Ajuste fino (Fine-tuning)Ajuste del modelo: El modelo generado se ajusta mediante machine learning para mejorar su rendimiento en tareas específicas, como la programación en un determinado lenguaje o la conversación en lenguaje natural. Esto se conoce como fine-tuning y se utiliza para mejorar modelos específicos.
Entrenamiento supervisado y reforzado: En muchos casos, los modelos como ChatGPT también se afinan utilizando datos etiquetados por humanos (entrenamiento supervisado) y técnicas de aprendizaje por refuerzo (Reinforcement Learning), donde se le da retroalimentación al modelo sobre si sus respuestas son útiles o correctas.

¿Dónde encaja el aprendizaje profundo dentro de la IA?

Historia de la AI y los chatbots

 Este artículo es parte de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el primer artículo.

Década de 1940-1950: Primeros Conceptos y Teorías

1943: Redes neuronales artificiales

Los científicos Warren McCulloch y Walter Pitts proponen el primer modelo matemático de una neurona artificial, marcando el inicio de las ideas sobre cómo las máquinas podrían imitar el cerebro humano.

1950: Test de Turing

El matemático Alan Turing propone una prueba para determinar si una máquina es capaz de exhibir un comportamiento inteligente similar al de un ser humano, lo que hoy conocemos como el Test de Turing.

Década de 1950-1960: Primeros Avances en IA

1956: Conferencia de Dartmouth

La conferencia organizada por John McCarthy acuña el término "Inteligencia Artificial" y marca el inicio formal del campo de estudio de la IA.

1966: ELIZA

El primer chatbot creado por Joseph Weizenbaum en el MIT. ELIZA era capaz de imitar una conversación terapéutica al reformular las entradas del usuario en preguntas, aunque carecía de comprensión real.

Década de 1970: Primeros Chatbots y Sistemas Expertos

1972: PARRY

Desarrollado por Kenneth Colby, PARRY fue el primer chatbot diseñado para simular una conversación con un paciente esquizofrénico, y era más avanzado que ELIZA en cuanto a la simulación de respuestas humanas.

1974-1980: Invernada de la IA

Debido a la falta de avances significativos y a la decepción con las promesas iniciales, se produjo una caída en la inversión y el interés en la IA.

Década de 1980: Nuevos Avances en Machine Learning

1980: Renacimiento de los sistemas expertos

Los sistemas expertos, que utilizan reglas predefinidas para simular la toma de decisiones humana, como el sistema XCON de Digital Equipment Corporation, recuperan el interés en la IA.

1986: Retropropagación

Se redescubre el algoritmo de retropropagación para entrenar redes neuronales, gracias al trabajo de Geoffrey Hinton, lo que facilita el entrenamiento de redes más profundas y marca un hito clave en el Deep Learning.

Década de 1990: IA en Juegos y Primeros Asistentes Virtuales

1997: Deep Blue vence a Garry Kasparov

La máquina de ajedrez de IBM, Deep Blue, derrota al campeón mundial de ajedrez Garry Kasparov, un hito que muestra el potencial de la IA para resolver problemas complejos.

1995: ALICE (Artificial Linguistic Internet Computer Entity)

Un chatbot basado en procesamiento de lenguaje natural creado por Richard Wallace. Utilizaba un enfoque de coincidencia de patrones y sirvió de base para futuros chatbots más avanzados.

Década de 2000: Surgimiento de Machine Learning y Asistentes Virtuales

2006: Deep Learning resurge

Geoffrey Hinton y sus colegas popularizan el concepto de Deep Learning, revolucionando el campo del aprendizaje automático gracias a redes neuronales profundas capaces de aprender a partir de grandes cantidades de datos.

2008: Siri

Apple compra Siri, un proyecto de asistente virtual, y lo convierte en el primer asistente basado en IA integrado en un smartphone (lanzado en 2011).

Década de 2010: Avances Masivos en IA y Chatbots

2011: Watson de IBM

Watson, el sistema de IA de IBM, vence a los campeones humanos del programa de preguntas y respuestas Jeopardy!, demostrando la capacidad de la IA para procesar y entender el lenguaje natural.

2014: Eugene Goostman

Un chatbot llamado Eugene Goostman, que simula a un niño ucraniano de 13 años, se convierte en el primer chatbot en "pasar" el Test de Turing, aunque la validez del logro ha sido debatida.

2015: Transformers y modelos de atención

Google presenta la arquitectura Transformer, que revoluciona el procesamiento del lenguaje natural. Esta arquitectura es la base de muchos modelos modernos de IA, incluidos GPT, BERT, y otros.

2018-2023: Era de los Modelos Generativos y Chatbots Avanzados

2018: GPT (Generative Pre-trained Transformer)

OpenAI lanza el primer modelo GPT, que utiliza la arquitectura Transformer para generar texto de forma fluida. Este avance marca el inicio de los modelos de lenguaje capaces de generar respuestas convincentes en conversaciones.

2019: GPT-2

OpenAI lanza GPT-2, un modelo más avanzado que mejora la capacidad de generar texto de manera coherente y se convierte en un hito importante para los chatbots modernos.

2020: GPT-3

OpenAI lanza GPT-3, con 175 mil millones de parámetros, lo que lo convierte en uno de los modelos de lenguaje más avanzados jamás creados. GPT-3 puede generar texto con un alto grado de coherencia y contextualización, lo que impulsa el desarrollo de chatbots avanzados como ChatGPT.

2022: ChatGPT

OpenAI lanza ChatGPT, basado en GPT-3.5 y luego actualizado a GPT-4, lo que establece un nuevo estándar en la interacción conversacional con máquinas. ChatGPT demuestra una capacidad sin precedentes para comprender y generar lenguaje natural de manera fluida y coherente.

2024: Actualidad

Chatbots avanzados y personalizados

Los chatbots como ChatGPT se integran en múltiples aplicaciones y sectores, desde atención al cliente hasta educación y salud. Su capacidad para generar texto coherente, aprender de interacciones y ofrecer respuestas contextualmente apropiadas los convierte en una herramienta esencial en la era digital.

Revisiones de Código y Code Copilot - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? VII

Este artículo es el septimo de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Revisiones de Código y

Code Copilot

Como comentamos anteriormente, las revisiones de código son una de las mejores herramientas que tenemos para mejorar nuestras habilidades como programadores. Esta es una práctica muy extendida y todo el mundo está de acuerdo en que mejora notablemente la calidad del código. Los desarrolladores de todos los niveles deberían hacer revisiones de código, ya que, si bien es cierto que los más senior pueden tener más que aportar, los junior pueden hacer preguntas que no solo les ayuden a ellos, sino que también hagan que el código sea más sencillo y fácil de entender. Además, todos tenemos puntos ciegos, y cuanta más gente revise el código, más fiable será.

Cuando trabajamos en un equipo, es fácil implementar este tipo de prácticas, ya que las herramientas para la gestión de código las facilitan. Se pueden añadir comentarios en cada línea de código e incluso bloquear el "merge" del código hasta que un número determinado de miembros del equipo lo haya revisado y aprobado. Pero, ¿Qué pasa cuando estamos programando solos? Aquí es donde las IA nos pueden echar una mano.

En esta ocasión, he querido probar el "Code Pilot" incluido en las versiones de ChatGPT:

Al igual que con "Code Tutor", para utilizarlo hay que ir al menú de la izquierda y pulsar en "Explorar GPT". En la sección de "Programación", veremos "Code Tutor". Una vez que lo abras, a partir de ese momento te aparecerá en el menú de la izquierda.

En sus propias palabras:

El Code Copilot en la sección "Explorar GPT" es una funcionalidad diseñada para ayudar a los desarrolladores a escribir, corregir y mejorar código de manera eficiente mediante inteligencia artificial. Esta herramienta, basada en modelos como GPT, puede sugerir fragmentos de código, autocompletar líneas, detectar errores, y proporcionar explicaciones o alternativas para ciertas implementaciones de programación.
En pocas palabras, es un asistente que acelera el proceso de codificación, ofreciendo recomendaciones inteligentes a medida que el programador escribe, lo cual optimiza el flujo de trabajo y reduce el tiempo que toma desarrollar software o solucionar problemas de código.

Dejo el enlace a la conversación aquí.

Al abrirlo te hace algunas sugerencias:

Como estoy interesado en aprender Python, empiezo con:

/start python

El chatbot responde con una descripción de lo que puede hacer y nos anima a copiar directamente el código para poder ayudarnos. En capítulos posteriores hablaremos sobre las implicaciones de seguridad que esto conlleva, pero por el momento nos centraremos en su utilidad.

También nos ofrece un menú con los comandos básicos disponibles:

Available Commands:
/search [query]: Find real-time information or answers.
/read [urls]: Fetch the contents of a webpage, useful for docs or tutorials.
/quick_fix [issue]: Get an immediate solution with no explanation.
/fix [issue]: Use Rubber Duck Debugging to walk through your code and fix errors.
/explain [code]: Step-by-step explanation of how a code block works.
/review [code]: Get a code review for optimization, readability, or errors.
/help [topic]: More detailed help about me.

Entre las opciones, vemos "review", que es justo lo que estábamos buscando.

El resultado está en línea con lo que hemos estado viendo: Code Copilot realiza un análisis muy interesante. Lo más significativo que encuentra es la duplicidad de código en una función. Esto no es nada novedoso; yo, que vengo del mundo de Java, estoy acostumbrado a que los IDEs, como Eclipse o IntelliJ, hagan este tipo de sugerencias, e incluso te propongan soluciones en forma de refactorizaciones. Sin embargo, el proceso de cambiar el código es tedioso y consume tiempo, mientras que estas herramientas de inteligencia artificial te entregan los cambios ya hechos. Solo hay que copiar y pegar el código, luego volver al IDE y comprobar si todo funciona. Es ahí donde más me ha sorprendido, ya que casi siempre funciona a la primera. Claro, esto es cierto solo para pequeños fragmentos de código. Cuando lo probé con un archivo más grande, falló estrepitosamente. Las mejoras sugeridas eran buenas, pero en el código generado se olvidó de cosas importantes, incluso de sus propias sugerencias. Por ejemplo, el nombre de una de las clases estaba en español, mientras que el resto del código estaba en inglés. La herramienta fue lo suficientemente inteligente para darse cuenta de esto, pero en el código generado no lo corrigió.

Puedes ver los cambios que efectuó en mi GitHub: commit. Hace correcciones incluso en mensajes y comentarios, e intenta ir más allá sugiriendo mejoras como:

a. "¿Te gustaría añadir pruebas unitarias para garantizar que el manejo de errores y las llamadas a la API se comporten como se espera?"
b. "¿Quieres configurar los niveles de registro dinámicamente, según el entorno (por ejemplo, DEBUG para desarrollo, INFO para producción)?"

Estas son justo las sugerencias que un programador junior necesita para entregar un código más maduro.