Evaluación de Claude AI - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? XI

Este artículo es parte de una series acerca de De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Esta semana ha tocado probar otro modelo distinto que viene con muy buenas referencias, Claude 3.5 sonnet, en sus propias palabras:



Claude 3.5 Sonnet es un modelo de lenguaje de IA desarrollado por Anthropic, parte de la familia Claude 3 que fue lanzada en 2024. Es la versión más inteligente de los modelos Claude 3 actualmente disponibles.


Como modelo de IA, puedo ayudarte con una amplia variedad de tareas como:

Análisis y comprensión de textos
Programación y resolución de problemas técnicos
Escritura creativa y profesional
Traducción entre idiomas
Matemáticas y razonamiento lógico
Responder preguntas y mantener conversaciones informativas

Me caracterizo por intentar dar respuestas precisas y matizadas, pensar paso a paso los problemas complejos, y mantener conversaciones auténticas y naturales.

Si estás interesado en conocer más detalles técnicos sobre las capacidades específicas o cómo acceder a Claude 3.5 Sonnet, te sugiero consultar la página web de Anthropic que tiene información actualizada sobre todos sus modelos y servicios.

¿Hay algún tema o tarea específica en la que te gustaría que te ayude?


Lo primero que me llamó la atención es que la interfaz es un poco diferente a las otras. Cuando le pides que genere código, esto es especialmente notable, ya que Claude divide la página del navegador en dos: a la izquierda te explica lo que está haciendo y, a la derecha, te muestra el código que está generando.




A la hora de programar, esto puede facilitar un poco las cosas, ya que siempre tienes el código visible. Si seleccionas un fragmento, puedes mejorarlo o pedir una explicación más detallada. En realidad, es como hacer una nueva consulta a Claude, con la ventaja de que ya no es necesario proporcionar tanto contexto.



El primer problema que encontré es que no permite conversaciones muy largas. Me topé con este inconveniente bastante pronto. Esto puede resultar molesto si estás acostumbrado a usar ChatGPT, que en este aspecto no tiene tantas limitaciones.



Como estaba usando la versión gratuita, no tardé mucho en alcanzar el límite de usos diarios. No me quedó muy claro cuál es ese límite, ya que, según la documentación, depende de la carga del sistema. Ese día, el sistema debía estar bastante saturado, porque recibí el mensaje de límite mucho antes de lo que esperaba.




Al día siguiente lo utilicé para uno de los típicos casos con los que estoy evaluando los modelos: le pedí que realizara una revisión de código como si fuera un programador experto. El resultado me gustó bastante, quizás un poco más que el de ChatGPT o Gemini. Para que os hagáis una idea, este es el resumen de la revisión de código:





Mi opinión:


Las primeras impresiones son buenas. En general, hay detalles que me gustan más que en ChatGPT o Gemini. Por ejemplo, el formateo del código es más claro y tiene en cuenta factores como la longitud de línea.

Como punto negativo, el límite en la longitud de las conversaciones puede ser un problema. En mi caso, me gusta retomar conversaciones pasadas sobre un tema específico y continuar con ellas. Sin embargo, al alcanzar el límite, tendríamos que crear una nueva conversación.

La opinión de ChatGPT:


Claude es bastante bueno para escribir código, explicarlo y solucionar problemas de lógica o estructuración. Sin embargo, puede no ofrecer la misma amplitud de soporte en lenguajes y herramientas que otros modelos, como ChatGPT o Gemini.

La principal fortaleza de Claude es su enfoque en un desarrollo seguro y ético, lo que lo convierte en una opción atractiva para compañías y usuarios que priorizan la seguridad y la interpretación ética del código.

La opinión de Gemini:


Claude se destaca por su capacidad para seguir instrucciones detalladas y generar respuestas coherentes y seguras. Es una buena opción para tareas que requieren un alto nivel de precisión y seguridad, como la generación de código crítico.

La opinión del propio Claude:


Claude sobresale por su conocimiento amplio y profundo de diversos lenguajes de programación, su habilidad para generar código sofisticado y robusto, su capacidad para depurar y resolver problemas de código complejos, y su experiencia en el diseño de arquitecturas de software avanzadas.

Problemas de usar IA Generativa como asistente a la programación - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? X

Este artículo es el décimo de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el primer artículo.

 Los problemas de los chatbots basados en IA generativa no se limitan a uno solo, pero en esta captura de pantalla se resumen los más destacados:

Me atrevería a decir que incluso pueden ser incorrectas o tener poco que ver con la realidad. Estas "alucinaciones" de la IA se notan especialmente en preguntas como "¿Cuál es el/la X más antiguo/a de X?", para las cuales es mejor acudir a Wikipedia. Estas herramientas a veces inventan datos o, si no han sido entrenadas con información fiable, pueden producir información de dudosa calidad. Sabemos que internet es una fuente invaluable, pero no siempre es completamente fiable, y estos modelos de lenguaje han sido en gran parte entrenados con contenido de internet.

¿Es esto tan relevante a la hora de generar código?

En mi opinión, no tanto. Quizás no siempre obtengas el mejor código, pero suele ser una versión útil para prototipar. Claro, tendrás que revisarlo, probarlo y, en ocasiones, adaptarlo o optimizarlo. Aun así, considero que es un punto de partida suficientemente sólido, probablemente mejor que otros códigos que podrías encontrar buscando en Google. Por tanto, para mí este problema no es tan grave como el siguiente.

Confidencialidad

Nos advierten que el código que copiemos en herramientas como ChatGPT podría usarse en futuras versiones. Esto ya es más serio, pues el código es propiedad intelectual y, para muchas empresas, uno de sus activos más importantes. En contextos comunes como la revisión de código, generación de tests unitarios, o control de excepciones, estaríamos cediendo código a terceros. Esto podría no ser un problema para algunas empresas, sobre todo si su software no les da una ventaja competitiva, o si publican código en fuentes abiertas. Pero para quienes esto representa un riesgo, sigue habiendo opciones.

¿Qué podemos hacer?

Primero, educar a los empleados. Todos deben conocer las implicaciones de usar estas herramientas, especialmente evitando copiar código o datos sensibles como los protegidos por la LOPD. Además, es clave configurar estas herramientas para desactivar el uso de las consultas en el entrenamiento o el almacenamiento del historial.

Segundo, usar tecnologías de seguridad en la nube, como Netskope, que pueden evitar la pérdida de información bloqueando la copia o el pegado de código en estos contextos.

Perder estas herramientas también significa perder sus ventajas. Y no es cuestión de sacrificar eficiencia por seguridad; está claro que las IA llegaron para quedarse, y las empresas que no las adopten pueden quedar rezagadas. Como ya se dice: "La IA no va a quitar empleos, pero quienes la usen sí se los quitarán a quienes no lo hagan".

Tercero, en lugar de usar chatbots en línea, se pueden desplegar modelos localmente o en una nube privada, accesibles solo para quienes designemos. Hablaré más de esta opción en otro artículo.

Otros problemas menores

Ejecución en tiempo real: Aunque los chatbots generan y comprenden código, no pueden ejecutarlo o probarlo en tiempo real. Esto significa que el código generado debe validarse en un IDE como VSCode. Existen otros flujos e IDEs específicos, de los cuales también hablaré en otro artículo.

Conocimiento estático: ChatGPT no tiene acceso a internet ni a actualizaciones recientes de lenguajes de programación o bibliotecas, por lo que su conocimiento se limita a los datos con los que fue entrenado. Esto puede dar lugar a sugerencias obsoletas o incompatibles con versiones actuales de un lenguaje, aunque no es común.

Falta de contexto prolongado: En una conversación extensa, los chatbots puede perder el contexto, lo que resulta en respuestas incoherentes o repetitivas.

Ambigüedad en las preguntas: Es fundamental proporcionar instrucciones claras, razón por la cual la "ingeniería de prompts" está en auge. Sin instrucciones precisas, los chatbots pueden generar código que no se ajusta a la necesidad real.

Limitaciones de personalización: Modelos generales como ChatGPT no pueden adaptarse a un estilo de programación específico o a las preferencias de un equipo en particular, algo que solo se lograría entrenando un modelo con código propio, lo cual requiere gran cantidad de datos. Esto es más viable para grandes empresas con una larga trayectoria en estándares de calidad.

Lenguajes menos populares: Los chatbots pueden no ser muy útiles en lenguajes poco conocidos o específicos, aunque no debería ser un problema para lenguajes populares como Python. Nos interesa, además de un lenguaje popular, que tenga una gran base de código histórico para entrenar a estos modelos.

Code Copilot vs Chatbots - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? IX

Este artículo es el noveno de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el primer artículo.

Code Copilot vs Chatbots

Al comparar los resultados con el chatbot, se observa una mejora significativa en el uso de Code Copilot. Si usamos el prompt:

¿Podrías hacer una revisión de código como si fueras un programador experto?

Es cierto que, si mejoramos el prompt solicitando sugerencias específicas, es probable que obtengamos resultados similares. Pero, ¿en qué se diferencia el chatbot de esta herramienta? El chatbot es una herramienta generalista, más versátil, mientras que Code Copilot está diseñado específicamente para desarrolladores. El primero ha sido entrenado con todo tipo de textos provenientes de webs, ensayos académicos, libros, entre otros, para poder entablar conversaciones sobre cualquier tema. Por otro lado, Code Copilot ha sido entrenado con código de proyectos públicos subidos a GitHub y con manuales de programación. Además, sus modelos han sido ajustados (fine-tuning) con retroalimentación de desarrolladores experimentados.

Existe otra versión de Copilot que se distribuye como plugin para IDEs, como por ejemplo Visual Studio Code. El flujo de trabajo de esta versión es muy distinto a lo que estamos haciendo en esta serie de artículos. A medida que el desarrollador escribe dentro de un archivo .py, la herramienta ofrece sugerencias de autocompletado, incluso de funciones completas. Esta funcionalidad no es nueva; recuerdo que hace más de quince años los IDEs ya incorporaban ayudas similares. La diferencia es que ahora detrás están los Modelos de Lenguaje de Gran Escala (LLM), lo que sugiere que las recomendaciones sean más ricas y no tan mecánicas. ¿Serán estas sugerencias más acertadas?

Una de las críticas más importantes que ha recibido Copilot es que ha sido entrenado con código de GitHub, pero este código no necesariamente es de calidad. A menudo encontramos código deficiente en GitHub, lo cual es comprensible en algunos casos. Por ejemplo, si estás creando una prueba de concepto, solo quieres verificar algo rápidamente, y es natural que no dediques mucho tiempo a perfeccionar el código. Es posible que sea un código que no compartas con nadie y que probablemente no volverás a usar, por lo que no lo vas a mantener.

En cualquier caso, esta versión de la herramienta está fuera del alcance de este artículo, ya que es de pago y no ofrece nada novedoso en comparación con lo que hemos analizado.

Inteligencia Artificial Generativa - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? VIII

Este artículo es el octavo de una series acerca de De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Inteligencia Artificial Generativa

Hasta ahora, hemos visto las bondades de ChatGPT, Gemini y otras herramientas relacionadas, como "Code Tutor" o "Code Copilot", para aprender un nuevo lenguaje de programación o mejorar tu eficiencia como programador. Sin embargo, existen muchos tipos de inteligencia artificial.

¿Qué tipo de inteligencia artificial son ChatGPT o Gemini?

Son modelos de IA dentro del campo de la inteligencia artificial generativa y, en concreto, de la IA basada en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés) .

Según Wikipedia, la IA generativa es:

Un tipo de sistema de inteligencia artificial (IA) capaz de generar texto, imágenes u otros medios en respuesta a comandos.1​2​ Los modelos de IA generativa aprenden los patrones y la estructura de sus datos de entrenamiento de entrada y luego generan nuevos datos que tienen características similares.

Pero..

¿Qué tipo de IA es la IA generativa?

A grandes rasgos, existen tres tipos de IA según su capacidad:

IA General (AGI - Artificial General Intelligence):

Aquí entramos en conceptos más cercanos a la ciencia ficción. Aún no existe, pero sería una IA capaz de comprender, aprender y aplicar conocimiento en cualquier tarea intelectual que el ser humano pueda realizar.

IA Superinteligencia (ASI - Artificial Superintelligence):

Esta IA sería una evolución de la anterior; en este caso, superaría significativamente la inteligencia humana en todos los aspectos. Por lo tanto, podría resolver problemas que los humanos no pueden y tomar decisiones complejas de manera autónoma. Es un concepto más especulativo y aún lejano.

IA Débil o Estrecha (Weak/Narrow AI):

Aquí es donde se sitúan las herramientas de las que estamos hablando. La IA Generativa, los chatbots y, en definitiva, herramientas como ChatGPT, Gemini, Copilot, etc., están diseñadas para realizar tareas específicas, y por lo tanto, su alcance es limitado. No poseen conciencia ni capacidad de autoaprendizaje fuera de su ámbito.
Otros ejemplos: asistentes virtuales (Siri, Alexa), sistemas de recomendación, reconocimiento facial.

Pero no nos podemos olvidar de otro elemento fundamental dentro de la IA que ha hecho que los Chatbots sean hoy en día tan útiles.

Machine Learning y Aprendizaje Profundo (Deep Learning).

El Machine Learning (ML) desempeña un papel esencial en los chatbots como ChatGPT, ya que facilita que estos sistemas aprendan, entiendan y generen respuestas de manera coherente y natural utilizando grandes cantidades de datos como entrada.

Aprendizaje a partir de datos

Entrenamiento de modelos: En el caso de ChatGPT, está basado en un modelo llamado GPT (Generative Pre-trained Transformer), que utiliza técnicas de machine learning, específicamente aprendizaje profundo (deep learning). Este modelo se entrena con grandes cantidades de texto (libros, artículos, páginas web, etc.), lo que le permite aprender patrones del lenguaje, desde la gramática hasta el significado contextual de las palabras y frases.
Dataset masivo: Los chatbots como ChatGPT se entrenan con millones de ejemplos de conversaciones, lo que les permite generar respuestas contextualmente apropiadas en una variedad de situaciones.

Transformers: La arquitectura clave

Transformers son un tipo de modelo de aprendizaje profundo que ha revolucionado el campo del procesamiento de lenguaje natural (NLP) y que es la base de ChatGPT. Los transformers utilizan mecanismos de atención para procesar el texto, lo que permite que el modelo identifique y priorice la información más relevante en una secuencia de palabras.
Contexto: Los transformers pueden "entender" largas secuencias de texto, manteniendo el contexto de la conversación a lo largo de varios turnos. Esto es fundamental para que se puedan mantener conversaciones fluidas con este tipo de chatbots.

Generación de lenguaje natural (NLG)

Generación de texto: El machine learning en chatbots permite generar respuestas en lenguaje natural. Una vez que el modelo ha aprendido a partir del conjunto de datos, puede crear respuestas novedosas a partir de las entradas del usuario. Esto es lo que se denomina IA generativa.

Predicción de la siguiente palabra: El modelo genera texto prediciendo la próxima palabra o secuencia de palabras basada en lo que ha aprendido del contexto anterior. Gracias a las capacidades de machine learning, puede generar frases que no están predefinidas, sino que son creadas de forma dinámica.

Ajuste fino (Fine-tuning)Ajuste del modelo: El modelo generado se ajusta mediante machine learning para mejorar su rendimiento en tareas específicas, como la programación en un determinado lenguaje o la conversación en lenguaje natural. Esto se conoce como fine-tuning y se utiliza para mejorar modelos específicos.
Entrenamiento supervisado y reforzado: En muchos casos, los modelos como ChatGPT también se afinan utilizando datos etiquetados por humanos (entrenamiento supervisado) y técnicas de aprendizaje por refuerzo (Reinforcement Learning), donde se le da retroalimentación al modelo sobre si sus respuestas son útiles o correctas.

¿Dónde encaja el aprendizaje profundo dentro de la IA?

Historia de la AI y los chatbots

 Este artículo es parte de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el primer artículo.

Década de 1940-1950: Primeros Conceptos y Teorías

1943: Redes neuronales artificiales

Los científicos Warren McCulloch y Walter Pitts proponen el primer modelo matemático de una neurona artificial, marcando el inicio de las ideas sobre cómo las máquinas podrían imitar el cerebro humano.

1950: Test de Turing

El matemático Alan Turing propone una prueba para determinar si una máquina es capaz de exhibir un comportamiento inteligente similar al de un ser humano, lo que hoy conocemos como el Test de Turing.

Década de 1950-1960: Primeros Avances en IA

1956: Conferencia de Dartmouth

La conferencia organizada por John McCarthy acuña el término "Inteligencia Artificial" y marca el inicio formal del campo de estudio de la IA.

1966: ELIZA

El primer chatbot creado por Joseph Weizenbaum en el MIT. ELIZA era capaz de imitar una conversación terapéutica al reformular las entradas del usuario en preguntas, aunque carecía de comprensión real.

Década de 1970: Primeros Chatbots y Sistemas Expertos

1972: PARRY

Desarrollado por Kenneth Colby, PARRY fue el primer chatbot diseñado para simular una conversación con un paciente esquizofrénico, y era más avanzado que ELIZA en cuanto a la simulación de respuestas humanas.

1974-1980: Invernada de la IA

Debido a la falta de avances significativos y a la decepción con las promesas iniciales, se produjo una caída en la inversión y el interés en la IA.

Década de 1980: Nuevos Avances en Machine Learning

1980: Renacimiento de los sistemas expertos

Los sistemas expertos, que utilizan reglas predefinidas para simular la toma de decisiones humana, como el sistema XCON de Digital Equipment Corporation, recuperan el interés en la IA.

1986: Retropropagación

Se redescubre el algoritmo de retropropagación para entrenar redes neuronales, gracias al trabajo de Geoffrey Hinton, lo que facilita el entrenamiento de redes más profundas y marca un hito clave en el Deep Learning.

Década de 1990: IA en Juegos y Primeros Asistentes Virtuales

1997: Deep Blue vence a Garry Kasparov

La máquina de ajedrez de IBM, Deep Blue, derrota al campeón mundial de ajedrez Garry Kasparov, un hito que muestra el potencial de la IA para resolver problemas complejos.

1995: ALICE (Artificial Linguistic Internet Computer Entity)

Un chatbot basado en procesamiento de lenguaje natural creado por Richard Wallace. Utilizaba un enfoque de coincidencia de patrones y sirvió de base para futuros chatbots más avanzados.

Década de 2000: Surgimiento de Machine Learning y Asistentes Virtuales

2006: Deep Learning resurge

Geoffrey Hinton y sus colegas popularizan el concepto de Deep Learning, revolucionando el campo del aprendizaje automático gracias a redes neuronales profundas capaces de aprender a partir de grandes cantidades de datos.

2008: Siri

Apple compra Siri, un proyecto de asistente virtual, y lo convierte en el primer asistente basado en IA integrado en un smartphone (lanzado en 2011).

Década de 2010: Avances Masivos en IA y Chatbots

2011: Watson de IBM

Watson, el sistema de IA de IBM, vence a los campeones humanos del programa de preguntas y respuestas Jeopardy!, demostrando la capacidad de la IA para procesar y entender el lenguaje natural.

2014: Eugene Goostman

Un chatbot llamado Eugene Goostman, que simula a un niño ucraniano de 13 años, se convierte en el primer chatbot en "pasar" el Test de Turing, aunque la validez del logro ha sido debatida.

2015: Transformers y modelos de atención

Google presenta la arquitectura Transformer, que revoluciona el procesamiento del lenguaje natural. Esta arquitectura es la base de muchos modelos modernos de IA, incluidos GPT, BERT, y otros.

2018-2023: Era de los Modelos Generativos y Chatbots Avanzados

2018: GPT (Generative Pre-trained Transformer)

OpenAI lanza el primer modelo GPT, que utiliza la arquitectura Transformer para generar texto de forma fluida. Este avance marca el inicio de los modelos de lenguaje capaces de generar respuestas convincentes en conversaciones.

2019: GPT-2

OpenAI lanza GPT-2, un modelo más avanzado que mejora la capacidad de generar texto de manera coherente y se convierte en un hito importante para los chatbots modernos.

2020: GPT-3

OpenAI lanza GPT-3, con 175 mil millones de parámetros, lo que lo convierte en uno de los modelos de lenguaje más avanzados jamás creados. GPT-3 puede generar texto con un alto grado de coherencia y contextualización, lo que impulsa el desarrollo de chatbots avanzados como ChatGPT.

2022: ChatGPT

OpenAI lanza ChatGPT, basado en GPT-3.5 y luego actualizado a GPT-4, lo que establece un nuevo estándar en la interacción conversacional con máquinas. ChatGPT demuestra una capacidad sin precedentes para comprender y generar lenguaje natural de manera fluida y coherente.

2024: Actualidad

Chatbots avanzados y personalizados

Los chatbots como ChatGPT se integran en múltiples aplicaciones y sectores, desde atención al cliente hasta educación y salud. Su capacidad para generar texto coherente, aprender de interacciones y ofrecer respuestas contextualmente apropiadas los convierte en una herramienta esencial en la era digital.

Revisiones de Código y Code Copilot - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? VII

Este artículo es el septimo de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Revisiones de Código y

Code Copilot

Como comentamos anteriormente, las revisiones de código son una de las mejores herramientas que tenemos para mejorar nuestras habilidades como programadores. Esta es una práctica muy extendida y todo el mundo está de acuerdo en que mejora notablemente la calidad del código. Los desarrolladores de todos los niveles deberían hacer revisiones de código, ya que, si bien es cierto que los más senior pueden tener más que aportar, los junior pueden hacer preguntas que no solo les ayuden a ellos, sino que también hagan que el código sea más sencillo y fácil de entender. Además, todos tenemos puntos ciegos, y cuanta más gente revise el código, más fiable será.

Cuando trabajamos en un equipo, es fácil implementar este tipo de prácticas, ya que las herramientas para la gestión de código las facilitan. Se pueden añadir comentarios en cada línea de código e incluso bloquear el "merge" del código hasta que un número determinado de miembros del equipo lo haya revisado y aprobado. Pero, ¿Qué pasa cuando estamos programando solos? Aquí es donde las IA nos pueden echar una mano.

En esta ocasión, he querido probar el "Code Pilot" incluido en las versiones de ChatGPT:

Al igual que con "Code Tutor", para utilizarlo hay que ir al menú de la izquierda y pulsar en "Explorar GPT". En la sección de "Programación", veremos "Code Tutor". Una vez que lo abras, a partir de ese momento te aparecerá en el menú de la izquierda.

En sus propias palabras:

El Code Copilot en la sección "Explorar GPT" es una funcionalidad diseñada para ayudar a los desarrolladores a escribir, corregir y mejorar código de manera eficiente mediante inteligencia artificial. Esta herramienta, basada en modelos como GPT, puede sugerir fragmentos de código, autocompletar líneas, detectar errores, y proporcionar explicaciones o alternativas para ciertas implementaciones de programación.
En pocas palabras, es un asistente que acelera el proceso de codificación, ofreciendo recomendaciones inteligentes a medida que el programador escribe, lo cual optimiza el flujo de trabajo y reduce el tiempo que toma desarrollar software o solucionar problemas de código.

Dejo el enlace a la conversación aquí.

Al abrirlo te hace algunas sugerencias:

Como estoy interesado en aprender Python, empiezo con:

/start python

El chatbot responde con una descripción de lo que puede hacer y nos anima a copiar directamente el código para poder ayudarnos. En capítulos posteriores hablaremos sobre las implicaciones de seguridad que esto conlleva, pero por el momento nos centraremos en su utilidad.

También nos ofrece un menú con los comandos básicos disponibles:

Available Commands:
/search [query]: Find real-time information or answers.
/read [urls]: Fetch the contents of a webpage, useful for docs or tutorials.
/quick_fix [issue]: Get an immediate solution with no explanation.
/fix [issue]: Use Rubber Duck Debugging to walk through your code and fix errors.
/explain [code]: Step-by-step explanation of how a code block works.
/review [code]: Get a code review for optimization, readability, or errors.
/help [topic]: More detailed help about me.

Entre las opciones, vemos "review", que es justo lo que estábamos buscando.

El resultado está en línea con lo que hemos estado viendo: Code Copilot realiza un análisis muy interesante. Lo más significativo que encuentra es la duplicidad de código en una función. Esto no es nada novedoso; yo, que vengo del mundo de Java, estoy acostumbrado a que los IDEs, como Eclipse o IntelliJ, hagan este tipo de sugerencias, e incluso te propongan soluciones en forma de refactorizaciones. Sin embargo, el proceso de cambiar el código es tedioso y consume tiempo, mientras que estas herramientas de inteligencia artificial te entregan los cambios ya hechos. Solo hay que copiar y pegar el código, luego volver al IDE y comprobar si todo funciona. Es ahí donde más me ha sorprendido, ya que casi siempre funciona a la primera. Claro, esto es cierto solo para pequeños fragmentos de código. Cuando lo probé con un archivo más grande, falló estrepitosamente. Las mejoras sugeridas eran buenas, pero en el código generado se olvidó de cosas importantes, incluso de sus propias sugerencias. Por ejemplo, el nombre de una de las clases estaba en español, mientras que el resto del código estaba en inglés. La herramienta fue lo suficientemente inteligente para darse cuenta de esto, pero en el código generado no lo corrigió.

Puedes ver los cambios que efectuó en mi GitHub: commit. Hace correcciones incluso en mensajes y comentarios, e intenta ir más allá sugiriendo mejoras como:

a. "¿Te gustaría añadir pruebas unitarias para garantizar que el manejo de errores y las llamadas a la API se comporten como se espera?"
b. "¿Quieres configurar los niveles de registro dinámicamente, según el entorno (por ejemplo, DEBUG para desarrollo, INFO para producción)?"

Estas son justo las sugerencias que un programador junior necesita para entregar un código más maduro.

Code Tutor and Logs - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? VI

Este artículo es el sesto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

 

Code Tutor and Logs

A medida que un proyecto avanza, la complejidad se incrementa. Ahora tengo tres módulos distintos; uno de ellos, el principal, utiliza los otros dos. Me he dado cuenta de que los logs han dejado de funcionar en el principal. Intuyo que esto se debe a que tengo configurados los logs de forma independiente en todos ellos, y como algunos se importan en otros, las configuraciones se están mezclando.

Este es un problema de mayor nivel que los que hemos tenido hasta ahora. Me parece una buena oportunidad para utilizar el Code Tutor de ChatGPT. Pero, ¿qué es Code Tutor? En sus propias palabras:

"Code Tutor" es una guía diseñada para ayudarte a aprender a programar. En lugar de darte respuestas directamente, su enfoque es ayudarte a razonar, entender los conceptos de programación y desarrollar habilidades para resolver problemas por ti mismo.

Para utilizarlo, hay que ir al menú de la izquierda y pulsar en "Explorar GPT":

En la sección de "Educación" veremos el "Code Tutor". Una vez abierto, aparecerá en el menú de la izquierda.

Voy a probar el mismo prompt tanto aquí como en Gemini y en el chatbot de ChatGPT para poder compararlos:

Tengo un programa con varios archivos de Python, y algunos de ellos importan a los otros, ¿cuál es la mejor estrategia para tener un sistema de log único y consistente que abarque todos los archivos/scripts de Python?

Las tres respuestas me parecen útiles. Me voy a quedar con la del Code Tutor, ya que es más sencilla y directa. Todas me proporcionan código, pero la de Gemini es más completa y va un paso más allá, sugiriendo el uso de frameworks como loguru y structlog, que ofrecen funcionalidades más avanzadas, como la rotación de logs.

Lo que no me gusta del Code Tutor es que no guarda el historial de consultas, algo que uso mucho en su chatbot hermano. Sin embargo, las sensaciones son buenas.

¿Es mejor el Code Tutor que usar directamente el chatbot? En teoría, está optimizado para ayudar al programador, pero en mi experiencia, los resultados del chatbot son muy buenos. Quizás las respuestas del chatbot son más directas. En mi opinión, depende del nivel del usuario: para principiantes, el Code Tutor puede ser mejor; para programadores más experimentados, probablemente sea mejor un chatbot, para entender mejor las diferencias, estoy preparando un artículo acerca de la Inteligencia Artificial Generativa, por el momento decir que la respuesta ofrecida por Code Tutor para preguntas básicas de programación, como por ejemplo:

Cuales son las naming conventions para ficheros de codigo .py y para clases en python

Para estas, será mejor utilizar el Code Tutor.

Cuáles serían los resultados con otros LLM - Gemini - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? V

Este artículo es el quinto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Cuáles serían los resultados con otros LLM como Gemini

Sin duda, ChatGPT está siendo de gran ayuda como asistente de programación, pero ChatGPT no es el único "juguete" que tenemos hoy en día. Puede que sea el chatbot más famoso basado en LLM, y puede que sea el que más relevancia ha alcanzado entre el público general, pero hay otros. Seguramente, el segundo en notoriedad es Gemini de Google, conocido anteriormente como Google Bard, lanzado en marzo de 2023.

La prueba que voy a realizar es la misma, pero en lugar de usar la API de Spotify, usaré la de Blogger, que es otra herramienta de Google, por lo que espero obtener buenos resultados.

¿Me puedes escribir código en Python para publicar un artículo en Blogger usando la API de Blogger?

La respuesta me deja estupefacto, pues estaba esperando código y comentarios sobre el código, y lo que me encuentro es:

"Solo soy un modelo de lenguaje, así que no puedo hacer lo que me pides."

Superada la impresión inicial, le replico:

"Pero ChatGPT puede."

Y la respuesta ya es más parecida a lo que esperaba. Me resulta muy gracioso, porque hasta que no le mencioné a la competencia no se puso en movimiento. Eso sí, en ese caso lo primero que hace es disculparse:

"¡Tienes toda la razón! Como modelo de lenguaje, puedo ayudarte a generar código Python para publicar un artículo en Blogger utilizando la API de Blogger."

 

La respuesta es parecida a la de ChatGPT; el estilo es similar. Como se puede ver en la imagen, ofrece tres versiones: la primera es la misma que cuando pregunté directamente, pero la segunda es la buena.

Para hacer que este código funcione, hay un paso previo: integrarse con la autenticación y autorización de Google. El paso número 1 es, obtener las credenciales de la API:

1. Accede a la Google Cloud Platform y crea un proyecto.
2. Habilita la API de Blogger.
3. Crea un cliente OAuth 2.0 y descarga las credenciales JSON.

Este es el paso que con diferencia, me ha dado más problemas. Por más detalles que le pedí a Gemini, no me dio una forma fácil de hacerlo. Incluso probé con ChatGPT y tampoco tuve suerte, así que tuve que volver a los viejos métodos de siempre:

• Leer documentación.
• Usar buscadores tradicionales.
• Buscar tutoriales, incluso en YouTube.
• Y mucho ensayo y error.

La verdad es que esa parte de la API de Google es muy poco intuitiva. Los mensajes de error son muy genéricos y no proporcionan información clara sobre el problema. En situaciones como estas, los chatbots son poco útiles.

Una vez superado ese escollo hago la prueba de que me complete el código. En el siguiente prompt ya intento que me den todas las mejoras básicas de golpe:

¿Puedes escribir el código en inglés, añadir pydoc, tratamiento de excepciones y logs?

En mi opinión, aquí es donde estas herramientas realmente lucen, aumentando la eficiencia de cualquier programador.

Pero, a la pregunta: "¿Con cuál de los dos chatbots te quedarías?", yo, por el momento, me quedo con ChatGPT. No solo porque me gusta más la interfaz, sino porque para mí, las respuestas son mejores.

En cualquier caso, no son los únicos chatbots que usan LLM. Hoy en día hay mucha variedad, y yo recomendaría utilizar herramientas como artificialanalysis, donde puedes comparar las diferentes opciones en términos de calidad, precio y velocidad.

Siguientes pasos - Análisis de Seguridad -- ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? IV

Este artículo es el quinto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Análisis de seguridad

 


Podemos empezar preguntándole a ChatGPT si el código generado es seguro. Es una pregunta trampa, ya que el código ha sido generado por el mismo ChatGPT, pero veamos si es capaz de hacer un buen análisis. El prompt sería:

¿Puedes analizar este código desde el punto de vista de seguridad?

ChatGPT se ha fijado en seis puntos clave:

1. Manejo de credenciales
2. Control de excepciones
3. Validación de datos
4. Logging
5. Dependencias externas
6. Autenticación y sesiones

Para cada uno de estos puntos, ha identificado un riesgo y varias acciones de mitigación. En su conclusión final, indica que no ha encontrado problemas graves. Sin embargo, sugiere literalmente:

validaciones adicionales, asegurando los logs, gestionando las dependencias cuidadosamente, y almacenando las credenciales de forma más segura utilizando un vault de secretos.

Esto es justo lo que quería comprobar. Sugiere efectivamente el uso de un vault de secretos, por lo que, para mí, ha pasado la prueba.

Siguientes pasos - Test Unitarios - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? IV

Este artículo es el cuarto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

 

Test Unitarios

¿Puedes crear test unitarios en un nuevo fichero?

Genera el código rápidamente, luego una sección explicando el código y otra sección con el comando para ejecutar los test unitarios.

Me gusta cómo está estructurado el código. Primero, tiene un método setUp para inicializar todo lo necesario antes de correr los tests, incluidos los mocks. Luego, presenta test unitarios para las funciones del código a probar, tanto para casos positivos como negativos, e incluso para el control de excepciones.

Tuve que renombrar algunos archivos para que los nombres coincidieran, pero todo ha funcionado como se esperaba. La mala noticia es que, de los ocho tests generados, uno falla, lo que me lleva a pensar que hay una discrepancia entre el código generado y los tests. Para evitar esto, intenté generar los tests nuevamente, esta vez copiando y pegando el código que iba a ejecutar, para asegurarme de que los tests no se generaran para un código que estaba en la conversación y que no coincidiera exactamente con el que tenía en el editor de texto. Sin embargo, el resultado fue el mismo. Al fin y al cabo, nadie es perfecto, pero si quiero solucionar este error tendré que hacerlo a la antigua usanza: examinando y depurando el código. La dificultad aquí es que yo no he escrito el código, lo que añade una barrera, pero como el objetivo final es aprender el lenguaje de programación, seguro que me será útil.

Lo primero que me llama la atención es que se está importando MagicMock de unittest.mock. Mi primer contacto con mocking frameworks fue en 2005, cuando estaba utilizando Extreme Programming y por extensión TDD. Desde entonces, y viniendo del mundo Java, he visto pasar muchos frameworks para construir mocks. Me pregunto por qué ha elegido MagicMock en particular. En otra época, habría buscado información en Google, investigando alternativas, investigando qué framework es más maduro o aceptado según Google Trends, pero ahora tenemos chatbots para ayudarnos, así que le hago tres preguntas encadenadas para ver cómo responde:

1. ¿Por qué has elegido unittest.mock y MagicMock como framework para fabricar los mocks?
2. ¿Hay alternativas? ¿Qué otras opciones hay?
3. ¿Podrías reescribir los tests con pytest y pytest-mock?

Para la primera pregunta, devuelve una respuesta bastante completa con seis puntos a favor de esta opción.

En la segunda, ofrece seis alternativas, explicando cuáles son los puntos fuertes de cada una. Incluso menciona una, mockito, que ya conocía del mundo Java. La que más me convence es la primera: pytest con pytest-mock. De ahí surge la tercera pregunta; no solo me reescribió el código de los tests, sino también el código que quería testear. Sin embargo, se quedó colgado generando el código de los tests, y tuve que pedirle que lo generara de nuevo. No es la primera vez que me pasa esto, que se quede a mitad de camino; me imagino que es lo que sucede bajo condiciones excepcionales, pero yo esperaría un mensaje de error, al menos para saber que no pudo terminar.

Con pytest, la forma de ejecutar los tests es distinta. Al probarlo, me da un error, así que le pregunto otra vez:

Cuando ejecuto "pytest", me da el error:

pytest : The term 'pytest' is not recognized as the name of a cmdlet, function, script file, or operable program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.

¿Sabes cuál es el problema?

 

En esta ocasión, me vuelve a generar dos respuestas, me gusta más la primera, es un poco más directa, y me sugiere ejecutar los test como un comando de python: python -m pytest.

Y ahora si, es capaz de ejecutar los test, las malas noticias es que falla en el mismo punto que con la versión anterior.

Seguientes pasos - Claves - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? III

 

Este artículo es el tercero de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

¿Cuáles serían los siguientes pasos?

Lo que más me incomoda es que mi token de la API de Spotify esté visible en el código. Se me ocurre mover esos valores a un vault de secretos o, al menos, a variables de entorno, para que no estén visibles en GitHub. Pero, ¿por qué no preguntárselo a nuestro chatbot?

¿Cómo puedo hacer para que la variable TU_CLIENT_SECRET no esté en claro en el código?

El código que me genera ChatGPT utiliza una librería para trabajar con variables de entorno, python-dotenv. Esta librería coloca las variables en un archivo .env, y luego hay que asegurarse de que este archivo no se suba al repositorio añadiéndolo al .gitignore. Pero, ¿es esta la mejor opción? Una de las características de estos modelos es que, para una misma pregunta, no siempre generan la misma respuesta. De hecho, puedes “volver a generar” la respuesta usando el ícono de las dos flechas circulares.

La segunda respuesta es muy parecida: misma estrategia, misma librería. Al final de la respuesta, ChatGPT pregunta: "¿Esta respuesta fue mejor o peor?". Respondí que era igual de buena, porque me parece que no hay nada nuevo. Así estamos ayudando a entrenar el modelo. Sin embargo, como es prácticamente lo mismo, decido volver a generar otra respuesta. Y una vez más, la tercera opción utiliza la misma estrategia. Me pregunto, ¿es esta la solución más extendida en la comunidad y por eso siempre devuelve lo mismo? ¿O ChatGPT simplemente reescribe la respuesta con otras palabras? En lo que respecta al código, los cambios son cosméticos. En las tres veces que he regenerado la respuesta, solo cambiaron los comentarios del código y el orden de una librería. Concluyo que, al volver a generar los resultados, al menos en este caso, la respuesta no cambia sustancialmente. Dejo los resultados en GitHub.

En los ejemplos anteriores, el código generado es muy sencillo. Cuando estás aprendiendo, esto seguramente sea una ventaja, pero está dejando fuera aspectos fundamentales de la programación, elementos necesarios para escribir buen código. Por ejemplo, echo de menos una clase Canción y más fundamentos de programación orientada a objetos. Veamos si nos puede ayudar:

¿Puedes reescribir el anterior código pero con una programación orientada a objetos?, ¿puedes incluir una clase canción?

El código generado sigue siendo sencillo, pero ahora veo dos clases: Cancion y SpotifyRockTracks. La clase Cancion tiene un método __init__ y otro __str__, lo cual me agrada; parece seguir convenciones de código que ya he visto en otros lenguajes, y, al investigar un poco, confirmo que es así.

Pruebo a ejecutar el código, y funciona sin errores nuevamente. Parece que la cosa funciona.

Generación de Código - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? II

Este artículo es el segundo de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Generación de Código

¡Comencemos!. Eso si, por algo sencillo, por ejemplo creando un pequeño programa en python, que usando la API de spotify nos devuelva una lista de las canciones rock más escuchadas durante el mes pasado. El prompt que he utilizado es casi literal:

¿me puedes escribir código en python para sacar una lista de las canciones rock más escuchadas en spotify durante el mes pasado, usando la api de spotify?

Nota: ChatGPT te permite compartir una conversación generando un enlace, puedes ver toda la conversación aquí.

Hasta ahora, todo va bien. ChatGPT genera todo el código y lo explica claramente. Ya podemos observar ciertas características del lenguaje, cómo utilizar librerías y cómo definir funciones. Sin embargo, si eres una persona de acción, lo que probablemente quieras ahora es ver el código en funcionamiento. Por eso, la siguiente pregunta qué le haría es:

¿Cómo puedo ejecutar este código?

La respuesta generada no está mal, e incluso recomienda algunos IDEs para la edición del código. No obstante, asume que ya tengo un entorno de desarrollo configurado o que, al menos, ya tengo Python instalado, lo cual podría no ser el caso. Lo primero que nos indica es que instalemos la librería con “pip install spotipy”. Si no tienes Python instalado, esto devolverá un error:

'pip' is not recognized as an internal or external command,

operable program or batch file.

En este tipo de casos, aunque el mensaje de error es bastante claro, lo habitual es buscar la solución en algún buscador. Ese es el primer impulso de quienes hemos programado durante las últimas décadas. Sin embargo, como estamos probando ChatGPT, deberíamos resistirnos a ese impulso y… ¿por qué no preguntárselo directamente a él? Una de las características que más me gustan de estos bots conversacionales es precisamente esa: que puedes tener una conversación continua con ellos. Esta sería la tercera pregunta que le hago en el mismo diálogo, por lo que no necesito dar más contexto. Bastaría con decirle que me ha dado un error y añadir el mensaje de error.

Una vez más, la respuesta no está nada mal. Me gusta que ofrezca diferentes opciones para distintos sistemas operativos. El enlace generado para descargar la última versión de Python funciona, y los pasos son bastante claros. Después de cinco minutos, ya lo tengo todo instalado. Conseguir el ID de proyecto en Spotify y el token para poder usar la API me lleva un poco más de tiempo, pero al final ya lo tengo todo funcionando. La pregunta es:

¿Me ha hecho más eficiente ChatGPT?

En otras palabras, ¿he ahorrado tiempo? ¿Se han cimentado mejor los conocimientos que estoy intentando aprender? Mi impresión personal es que sí, pero aún queda mucho camino por recorrer. Estos son solo los primeros pasos. ¿Me servirá para aprender conceptos más avanzados del lenguaje? ¿Es correcto el código? ¿Es el mejor código posible? ¿Qué implicaciones de seguridad hay que tener en cuenta?

¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje?

Mi primer contacto serio aprendiendo lenguajes de programación fué en la Universidad, estudiando Ingeniería Informática, antes de eso hice algo con Visual Basic, pero de aquellas no sabía ni por dónde empezar, comencé mis estudios en 1996, ni que decir tiene que en esa época todo lo relacionado con la informática era diferente, y sobre todo aprender un lenguaje de programación, en primer curso ya teníamos una clase que se llamaba justo así, “Programación I”, recuerdo que aprendimos Pascal, un lenguaje muy elegante, y fue el profesor el que nos condujo por los distintos elementos que componen un lenguaje como Pascal, Sintaxis, Semántica, Tipos de datos, Variables, Operadores, Estructuras de Control y un largo etcétera. Por supuesto el examen era escribir un programa, pero con la dificultad añadida de que había que escribirlo en papel, sin compilador!, sólo de pensarlo ahora me parece aterrador, no tener feedback inmediato de lo que estás escribiendo es por lo menos sintácticamente correcto me asusta.

Para otras asignaturas aprendí otros lenguajes, generalmente porque pedían las prácticas en esos lenguajes, Cobol para “Calidad del Software”, C++ para Bases de Datos y Teoría de Autómatas y Lenguajes formales, Eiffel, Ensamblador, etc, para estos últimos el alumno ya tenía que buscarse la vida, a veces los profesores ponían a disposición de la clase un manual, pero a esas alturas ya sabíamos que lo más útil era conseguir un libro de programación, por ejemplo el mítico "The C++ Programming Language" por Bjarne Stroustrup.

Cuando terminé el Ciclo superior de Ingeniería Informática, decidí hacer el proyecto de fin de carrera sobre un motor de búsqueda que despuntaba en aquella época, Google, quería aprender más de tecnologías web, que ya por aquel entonces eran omnipresentes, elegí Java, sobre todo porque en aquella época parecía que iba a ser un lenguaje de programación útil en el futuro, y de qué manera lo fué, la mayor parte de mi vida profesional ha sido una constante, cuando has programado tanto y tienes tanto dominio sobre un lenguaje las metas son distintas, ya nos centramos más en sutilezas, y este tipo de cosas se aprenden mejor con tus compañeros, haciendo y recibiendo revisiones de código, o incluso mejor, haciendo programación pareada (pair programing), para ir más lejos puedes leer libros de programación especializados.

El caso es cuando ya tienes un nivel muy alto en un lenguaje de programación y quieres aprender otro, un curso básico de programación en ese lenguaje te va a resultar muy aburrido, porque la mayoría de los conceptos ya los tienes, seguramente sea mejor comprar un libro que te sirva de referencia y empezar un pequeño proyecto para irte familiarizando con el nuevo lenguaje, y es aquí donde yo creo que las nuevas herramientas de Inteligencia artificial pueden jugar un papel importante. Hoy en día todo está colgado en internet, puedes encontrar miles de tutoriales sobre lo que buscas, millones de ejemplos, stackoverflow te va a ayudar con los errores, los buscadores tradicionales como google serán tu puerta de entrada, pero estos buscadores ya no devuelven información tan buena como antes, los intereses económicos se han hecho con ellos, ya no tienen nada que ver con la teoría de recuperación de información, ya hay que hacer mucho scroll para saltar los anuncios y llegar a los resultados de verdad, y de estos resultados ya tampoco te puedes fiar por las razones anteriores.

¿Por qué ahora?

ChatGPT ha estado en funcionamiento durante varios años, pero la versión ChatGPT-4 fue lanzada el 14 de marzo de 2023. El año pasado, realicé un ejercicio similar al que estoy haciendo ahora. Mi objetivo era automatizar un proceso mediante la creación de un script que, utilizando la API de TestRail (una herramienta de gestión de pruebas), quería extraer todos los datos de los casos de prueba para poder realizar análisis estadísticos y generar gráficos. Sin embargo, los resultados no fueron tan satisfactorios como esperaba. Aunque ChatGPT me ayudó con la estructura, al final preferí utilizar la solicitud que capturé con el navegador (F12 -> Pestaña Network). El navegador permite copiar la solicitud en varios formatos; yo opté por cURL para poder probarla sin el navegador, de forma aislada, eliminando todo lo innecesario y luego traduciéndola a Python. Para esto, incluso hay herramientas que automatizan la conversión.

Mi conclusión en ese momento fué que ChatGPT te puede hacer más productivo, ayudar en momentos puntuales, pero que no era un “Game Changer” como nos lo estaban vendiendo. Entre las mejoras que openAI incorpora en ChatGPT-4, destaca:

Mejora en la Generación de Código: GPT-4 muestra una mayor competencia en la generación y corrección de código, lo que lo hace más útil para desarrolladores y programadores.

A mi me gustaría investigar cómo de grande es esta mejora.