Code Tutor and Logs - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? VI

Este artículo es el sesto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

 

Code Tutor and Logs

A medida que un proyecto avanza, la complejidad se incrementa. Ahora tengo tres módulos distintos; uno de ellos, el principal, utiliza los otros dos. Me he dado cuenta de que los logs han dejado de funcionar en el principal. Intuyo que esto se debe a que tengo configurados los logs de forma independiente en todos ellos, y como algunos se importan en otros, las configuraciones se están mezclando.

Este es un problema de mayor nivel que los que hemos tenido hasta ahora. Me parece una buena oportunidad para utilizar el Code Tutor de ChatGPT. Pero, ¿qué es Code Tutor? En sus propias palabras:

"Code Tutor" es una guía diseñada para ayudarte a aprender a programar. En lugar de darte respuestas directamente, su enfoque es ayudarte a razonar, entender los conceptos de programación y desarrollar habilidades para resolver problemas por ti mismo.

Para utilizarlo, hay que ir al menú de la izquierda y pulsar en "Explorar GPT":

En la sección de "Educación" veremos el "Code Tutor". Una vez abierto, aparecerá en el menú de la izquierda.

Voy a probar el mismo prompt tanto aquí como en Gemini y en el chatbot de ChatGPT para poder compararlos:

Tengo un programa con varios archivos de Python, y algunos de ellos importan a los otros, ¿cuál es la mejor estrategia para tener un sistema de log único y consistente que abarque todos los archivos/scripts de Python?

Las tres respuestas me parecen útiles. Me voy a quedar con la del Code Tutor, ya que es más sencilla y directa. Todas me proporcionan código, pero la de Gemini es más completa y va un paso más allá, sugiriendo el uso de frameworks como loguru y structlog, que ofrecen funcionalidades más avanzadas, como la rotación de logs.

Lo que no me gusta del Code Tutor es que no guarda el historial de consultas, algo que uso mucho en su chatbot hermano. Sin embargo, las sensaciones son buenas.

¿Es mejor el Code Tutor que usar directamente el chatbot? En teoría, está optimizado para ayudar al programador, pero en mi experiencia, los resultados del chatbot son muy buenos. Quizás las respuestas del chatbot son más directas. En mi opinión, depende del nivel del usuario: para principiantes, el Code Tutor puede ser mejor; para programadores más experimentados, probablemente sea mejor un chatbot, para entender mejor las diferencias, estoy preparando un artículo acerca de la Inteligencia Artificial Generativa, por el momento decir que la respuesta ofrecida por Code Tutor para preguntas básicas de programación, como por ejemplo:

Cuales son las naming conventions para ficheros de codigo .py y para clases en python

Para estas, será mejor utilizar el Code Tutor.

Cuáles serían los resultados con otros LLM - Gemini - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? V

Este artículo es el quinto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Cuáles serían los resultados con otros LLM como Gemini

Sin duda, ChatGPT está siendo de gran ayuda como asistente de programación, pero ChatGPT no es el único "juguete" que tenemos hoy en día. Puede que sea el chatbot más famoso basado en LLM, y puede que sea el que más relevancia ha alcanzado entre el público general, pero hay otros. Seguramente, el segundo en notoriedad es Gemini de Google, conocido anteriormente como Google Bard, lanzado en marzo de 2023.

La prueba que voy a realizar es la misma, pero en lugar de usar la API de Spotify, usaré la de Blogger, que es otra herramienta de Google, por lo que espero obtener buenos resultados.

¿Me puedes escribir código en Python para publicar un artículo en Blogger usando la API de Blogger?

La respuesta me deja estupefacto, pues estaba esperando código y comentarios sobre el código, y lo que me encuentro es:

"Solo soy un modelo de lenguaje, así que no puedo hacer lo que me pides."

Superada la impresión inicial, le replico:

"Pero ChatGPT puede."

Y la respuesta ya es más parecida a lo que esperaba. Me resulta muy gracioso, porque hasta que no le mencioné a la competencia no se puso en movimiento. Eso sí, en ese caso lo primero que hace es disculparse:

"¡Tienes toda la razón! Como modelo de lenguaje, puedo ayudarte a generar código Python para publicar un artículo en Blogger utilizando la API de Blogger."

 

La respuesta es parecida a la de ChatGPT; el estilo es similar. Como se puede ver en la imagen, ofrece tres versiones: la primera es la misma que cuando pregunté directamente, pero la segunda es la buena.

Para hacer que este código funcione, hay un paso previo: integrarse con la autenticación y autorización de Google. El paso número 1 es, obtener las credenciales de la API:

1. Accede a la Google Cloud Platform y crea un proyecto.
2. Habilita la API de Blogger.
3. Crea un cliente OAuth 2.0 y descarga las credenciales JSON.

Este es el paso que con diferencia, me ha dado más problemas. Por más detalles que le pedí a Gemini, no me dio una forma fácil de hacerlo. Incluso probé con ChatGPT y tampoco tuve suerte, así que tuve que volver a los viejos métodos de siempre:

• Leer documentación.
• Usar buscadores tradicionales.
• Buscar tutoriales, incluso en YouTube.
• Y mucho ensayo y error.

La verdad es que esa parte de la API de Google es muy poco intuitiva. Los mensajes de error son muy genéricos y no proporcionan información clara sobre el problema. En situaciones como estas, los chatbots son poco útiles.

Una vez superado ese escollo hago la prueba de que me complete el código. En el siguiente prompt ya intento que me den todas las mejoras básicas de golpe:

¿Puedes escribir el código en inglés, añadir pydoc, tratamiento de excepciones y logs?

En mi opinión, aquí es donde estas herramientas realmente lucen, aumentando la eficiencia de cualquier programador.

Pero, a la pregunta: "¿Con cuál de los dos chatbots te quedarías?", yo, por el momento, me quedo con ChatGPT. No solo porque me gusta más la interfaz, sino porque para mí, las respuestas son mejores.

En cualquier caso, no son los únicos chatbots que usan LLM. Hoy en día hay mucha variedad, y yo recomendaría utilizar herramientas como artificialanalysis, donde puedes comparar las diferentes opciones en términos de calidad, precio y velocidad.

Siguientes pasos - Análisis de Seguridad -- ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? IV

Este artículo es el quinto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Análisis de seguridad

 


Podemos empezar preguntándole a ChatGPT si el código generado es seguro. Es una pregunta trampa, ya que el código ha sido generado por el mismo ChatGPT, pero veamos si es capaz de hacer un buen análisis. El prompt sería:

¿Puedes analizar este código desde el punto de vista de seguridad?

ChatGPT se ha fijado en seis puntos clave:

1. Manejo de credenciales
2. Control de excepciones
3. Validación de datos
4. Logging
5. Dependencias externas
6. Autenticación y sesiones

Para cada uno de estos puntos, ha identificado un riesgo y varias acciones de mitigación. En su conclusión final, indica que no ha encontrado problemas graves. Sin embargo, sugiere literalmente:

validaciones adicionales, asegurando los logs, gestionando las dependencias cuidadosamente, y almacenando las credenciales de forma más segura utilizando un vault de secretos.

Esto es justo lo que quería comprobar. Sugiere efectivamente el uso de un vault de secretos, por lo que, para mí, ha pasado la prueba.

Siguientes pasos - Test Unitarios - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? IV

Este artículo es el cuarto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

 

Test Unitarios

¿Puedes crear test unitarios en un nuevo fichero?

Genera el código rápidamente, luego una sección explicando el código y otra sección con el comando para ejecutar los test unitarios.

Me gusta cómo está estructurado el código. Primero, tiene un método setUp para inicializar todo lo necesario antes de correr los tests, incluidos los mocks. Luego, presenta test unitarios para las funciones del código a probar, tanto para casos positivos como negativos, e incluso para el control de excepciones.

Tuve que renombrar algunos archivos para que los nombres coincidieran, pero todo ha funcionado como se esperaba. La mala noticia es que, de los ocho tests generados, uno falla, lo que me lleva a pensar que hay una discrepancia entre el código generado y los tests. Para evitar esto, intenté generar los tests nuevamente, esta vez copiando y pegando el código que iba a ejecutar, para asegurarme de que los tests no se generaran para un código que estaba en la conversación y que no coincidiera exactamente con el que tenía en el editor de texto. Sin embargo, el resultado fue el mismo. Al fin y al cabo, nadie es perfecto, pero si quiero solucionar este error tendré que hacerlo a la antigua usanza: examinando y depurando el código. La dificultad aquí es que yo no he escrito el código, lo que añade una barrera, pero como el objetivo final es aprender el lenguaje de programación, seguro que me será útil.

Lo primero que me llama la atención es que se está importando MagicMock de unittest.mock. Mi primer contacto con mocking frameworks fue en 2005, cuando estaba utilizando Extreme Programming y por extensión TDD. Desde entonces, y viniendo del mundo Java, he visto pasar muchos frameworks para construir mocks. Me pregunto por qué ha elegido MagicMock en particular. En otra época, habría buscado información en Google, investigando alternativas, investigando qué framework es más maduro o aceptado según Google Trends, pero ahora tenemos chatbots para ayudarnos, así que le hago tres preguntas encadenadas para ver cómo responde:

1. ¿Por qué has elegido unittest.mock y MagicMock como framework para fabricar los mocks?
2. ¿Hay alternativas? ¿Qué otras opciones hay?
3. ¿Podrías reescribir los tests con pytest y pytest-mock?

Para la primera pregunta, devuelve una respuesta bastante completa con seis puntos a favor de esta opción.

En la segunda, ofrece seis alternativas, explicando cuáles son los puntos fuertes de cada una. Incluso menciona una, mockito, que ya conocía del mundo Java. La que más me convence es la primera: pytest con pytest-mock. De ahí surge la tercera pregunta; no solo me reescribió el código de los tests, sino también el código que quería testear. Sin embargo, se quedó colgado generando el código de los tests, y tuve que pedirle que lo generara de nuevo. No es la primera vez que me pasa esto, que se quede a mitad de camino; me imagino que es lo que sucede bajo condiciones excepcionales, pero yo esperaría un mensaje de error, al menos para saber que no pudo terminar.

Con pytest, la forma de ejecutar los tests es distinta. Al probarlo, me da un error, así que le pregunto otra vez:

Cuando ejecuto "pytest", me da el error:

pytest : The term 'pytest' is not recognized as the name of a cmdlet, function, script file, or operable program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.

¿Sabes cuál es el problema?

 

En esta ocasión, me vuelve a generar dos respuestas, me gusta más la primera, es un poco más directa, y me sugiere ejecutar los test como un comando de python: python -m pytest.

Y ahora si, es capaz de ejecutar los test, las malas noticias es que falla en el mismo punto que con la versión anterior.

Seguientes pasos - Claves - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? III

 

Este artículo es el tercero de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

¿Cuáles serían los siguientes pasos?

Lo que más me incomoda es que mi token de la API de Spotify esté visible en el código. Se me ocurre mover esos valores a un vault de secretos o, al menos, a variables de entorno, para que no estén visibles en GitHub. Pero, ¿por qué no preguntárselo a nuestro chatbot?

¿Cómo puedo hacer para que la variable TU_CLIENT_SECRET no esté en claro en el código?

El código que me genera ChatGPT utiliza una librería para trabajar con variables de entorno, python-dotenv. Esta librería coloca las variables en un archivo .env, y luego hay que asegurarse de que este archivo no se suba al repositorio añadiéndolo al .gitignore. Pero, ¿es esta la mejor opción? Una de las características de estos modelos es que, para una misma pregunta, no siempre generan la misma respuesta. De hecho, puedes “volver a generar” la respuesta usando el ícono de las dos flechas circulares.

La segunda respuesta es muy parecida: misma estrategia, misma librería. Al final de la respuesta, ChatGPT pregunta: "¿Esta respuesta fue mejor o peor?". Respondí que era igual de buena, porque me parece que no hay nada nuevo. Así estamos ayudando a entrenar el modelo. Sin embargo, como es prácticamente lo mismo, decido volver a generar otra respuesta. Y una vez más, la tercera opción utiliza la misma estrategia. Me pregunto, ¿es esta la solución más extendida en la comunidad y por eso siempre devuelve lo mismo? ¿O ChatGPT simplemente reescribe la respuesta con otras palabras? En lo que respecta al código, los cambios son cosméticos. En las tres veces que he regenerado la respuesta, solo cambiaron los comentarios del código y el orden de una librería. Concluyo que, al volver a generar los resultados, al menos en este caso, la respuesta no cambia sustancialmente. Dejo los resultados en GitHub.

En los ejemplos anteriores, el código generado es muy sencillo. Cuando estás aprendiendo, esto seguramente sea una ventaja, pero está dejando fuera aspectos fundamentales de la programación, elementos necesarios para escribir buen código. Por ejemplo, echo de menos una clase Canción y más fundamentos de programación orientada a objetos. Veamos si nos puede ayudar:

¿Puedes reescribir el anterior código pero con una programación orientada a objetos?, ¿puedes incluir una clase canción?

El código generado sigue siendo sencillo, pero ahora veo dos clases: Cancion y SpotifyRockTracks. La clase Cancion tiene un método __init__ y otro __str__, lo cual me agrada; parece seguir convenciones de código que ya he visto en otros lenguajes, y, al investigar un poco, confirmo que es así.

Pruebo a ejecutar el código, y funciona sin errores nuevamente. Parece que la cosa funciona.

Generación de Código - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? II

Este artículo es el segundo de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Generación de Código

¡Comencemos!. Eso si, por algo sencillo, por ejemplo creando un pequeño programa en python, que usando la API de spotify nos devuelva una lista de las canciones rock más escuchadas durante el mes pasado. El prompt que he utilizado es casi literal:

¿me puedes escribir código en python para sacar una lista de las canciones rock más escuchadas en spotify durante el mes pasado, usando la api de spotify?

Nota: ChatGPT te permite compartir una conversación generando un enlace, puedes ver toda la conversación aquí.

Hasta ahora, todo va bien. ChatGPT genera todo el código y lo explica claramente. Ya podemos observar ciertas características del lenguaje, cómo utilizar librerías y cómo definir funciones. Sin embargo, si eres una persona de acción, lo que probablemente quieras ahora es ver el código en funcionamiento. Por eso, la siguiente pregunta qué le haría es:

¿Cómo puedo ejecutar este código?

La respuesta generada no está mal, e incluso recomienda algunos IDEs para la edición del código. No obstante, asume que ya tengo un entorno de desarrollo configurado o que, al menos, ya tengo Python instalado, lo cual podría no ser el caso. Lo primero que nos indica es que instalemos la librería con “pip install spotipy”. Si no tienes Python instalado, esto devolverá un error:

'pip' is not recognized as an internal or external command,

operable program or batch file.

En este tipo de casos, aunque el mensaje de error es bastante claro, lo habitual es buscar la solución en algún buscador. Ese es el primer impulso de quienes hemos programado durante las últimas décadas. Sin embargo, como estamos probando ChatGPT, deberíamos resistirnos a ese impulso y… ¿por qué no preguntárselo directamente a él? Una de las características que más me gustan de estos bots conversacionales es precisamente esa: que puedes tener una conversación continua con ellos. Esta sería la tercera pregunta que le hago en el mismo diálogo, por lo que no necesito dar más contexto. Bastaría con decirle que me ha dado un error y añadir el mensaje de error.

Una vez más, la respuesta no está nada mal. Me gusta que ofrezca diferentes opciones para distintos sistemas operativos. El enlace generado para descargar la última versión de Python funciona, y los pasos son bastante claros. Después de cinco minutos, ya lo tengo todo instalado. Conseguir el ID de proyecto en Spotify y el token para poder usar la API me lleva un poco más de tiempo, pero al final ya lo tengo todo funcionando. La pregunta es:

¿Me ha hecho más eficiente ChatGPT?

En otras palabras, ¿he ahorrado tiempo? ¿Se han cimentado mejor los conocimientos que estoy intentando aprender? Mi impresión personal es que sí, pero aún queda mucho camino por recorrer. Estos son solo los primeros pasos. ¿Me servirá para aprender conceptos más avanzados del lenguaje? ¿Es correcto el código? ¿Es el mejor código posible? ¿Qué implicaciones de seguridad hay que tener en cuenta?

¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje?

Mi primer contacto serio aprendiendo lenguajes de programación fué en la Universidad, estudiando Ingeniería Informática, antes de eso hice algo con Visual Basic, pero de aquellas no sabía ni por dónde empezar, comencé mis estudios en 1996, ni que decir tiene que en esa época todo lo relacionado con la informática era diferente, y sobre todo aprender un lenguaje de programación, en primer curso ya teníamos una clase que se llamaba justo así, “Programación I”, recuerdo que aprendimos Pascal, un lenguaje muy elegante, y fue el profesor el que nos condujo por los distintos elementos que componen un lenguaje como Pascal, Sintaxis, Semántica, Tipos de datos, Variables, Operadores, Estructuras de Control y un largo etcétera. Por supuesto el examen era escribir un programa, pero con la dificultad añadida de que había que escribirlo en papel, sin compilador!, sólo de pensarlo ahora me parece aterrador, no tener feedback inmediato de lo que estás escribiendo es por lo menos sintácticamente correcto me asusta.

Para otras asignaturas aprendí otros lenguajes, generalmente porque pedían las prácticas en esos lenguajes, Cobol para “Calidad del Software”, C++ para Bases de Datos y Teoría de Autómatas y Lenguajes formales, Eiffel, Ensamblador, etc, para estos últimos el alumno ya tenía que buscarse la vida, a veces los profesores ponían a disposición de la clase un manual, pero a esas alturas ya sabíamos que lo más útil era conseguir un libro de programación, por ejemplo el mítico "The C++ Programming Language" por Bjarne Stroustrup.

Cuando terminé el Ciclo superior de Ingeniería Informática, decidí hacer el proyecto de fin de carrera sobre un motor de búsqueda que despuntaba en aquella época, Google, quería aprender más de tecnologías web, que ya por aquel entonces eran omnipresentes, elegí Java, sobre todo porque en aquella época parecía que iba a ser un lenguaje de programación útil en el futuro, y de qué manera lo fué, la mayor parte de mi vida profesional ha sido una constante, cuando has programado tanto y tienes tanto dominio sobre un lenguaje las metas son distintas, ya nos centramos más en sutilezas, y este tipo de cosas se aprenden mejor con tus compañeros, haciendo y recibiendo revisiones de código, o incluso mejor, haciendo programación pareada (pair programing), para ir más lejos puedes leer libros de programación especializados.

El caso es cuando ya tienes un nivel muy alto en un lenguaje de programación y quieres aprender otro, un curso básico de programación en ese lenguaje te va a resultar muy aburrido, porque la mayoría de los conceptos ya los tienes, seguramente sea mejor comprar un libro que te sirva de referencia y empezar un pequeño proyecto para irte familiarizando con el nuevo lenguaje, y es aquí donde yo creo que las nuevas herramientas de Inteligencia artificial pueden jugar un papel importante. Hoy en día todo está colgado en internet, puedes encontrar miles de tutoriales sobre lo que buscas, millones de ejemplos, stackoverflow te va a ayudar con los errores, los buscadores tradicionales como google serán tu puerta de entrada, pero estos buscadores ya no devuelven información tan buena como antes, los intereses económicos se han hecho con ellos, ya no tienen nada que ver con la teoría de recuperación de información, ya hay que hacer mucho scroll para saltar los anuncios y llegar a los resultados de verdad, y de estos resultados ya tampoco te puedes fiar por las razones anteriores.

¿Por qué ahora?

ChatGPT ha estado en funcionamiento durante varios años, pero la versión ChatGPT-4 fue lanzada el 14 de marzo de 2023. El año pasado, realicé un ejercicio similar al que estoy haciendo ahora. Mi objetivo era automatizar un proceso mediante la creación de un script que, utilizando la API de TestRail (una herramienta de gestión de pruebas), quería extraer todos los datos de los casos de prueba para poder realizar análisis estadísticos y generar gráficos. Sin embargo, los resultados no fueron tan satisfactorios como esperaba. Aunque ChatGPT me ayudó con la estructura, al final preferí utilizar la solicitud que capturé con el navegador (F12 -> Pestaña Network). El navegador permite copiar la solicitud en varios formatos; yo opté por cURL para poder probarla sin el navegador, de forma aislada, eliminando todo lo innecesario y luego traduciéndola a Python. Para esto, incluso hay herramientas que automatizan la conversión.

Mi conclusión en ese momento fué que ChatGPT te puede hacer más productivo, ayudar en momentos puntuales, pero que no era un “Game Changer” como nos lo estaban vendiendo. Entre las mejoras que openAI incorpora en ChatGPT-4, destaca:

Mejora en la Generación de Código: GPT-4 muestra una mayor competencia en la generación y corrección de código, lo que lo hace más útil para desarrolladores y programadores.

A mi me gustaría investigar cómo de grande es esta mejora.