Siguientes pasos - Test Unitarios - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? IV

Este artículo es el cuarto de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

 

Test Unitarios

¿Puedes crear test unitarios en un nuevo fichero?

Genera el código rápidamente, luego una sección explicando el código y otra sección con el comando para ejecutar los test unitarios.

Me gusta cómo está estructurado el código. Primero, tiene un método setUp para inicializar todo lo necesario antes de correr los tests, incluidos los mocks. Luego, presenta test unitarios para las funciones del código a probar, tanto para casos positivos como negativos, e incluso para el control de excepciones.

Tuve que renombrar algunos archivos para que los nombres coincidieran, pero todo ha funcionado como se esperaba. La mala noticia es que, de los ocho tests generados, uno falla, lo que me lleva a pensar que hay una discrepancia entre el código generado y los tests. Para evitar esto, intenté generar los tests nuevamente, esta vez copiando y pegando el código que iba a ejecutar, para asegurarme de que los tests no se generaran para un código que estaba en la conversación y que no coincidiera exactamente con el que tenía en el editor de texto. Sin embargo, el resultado fue el mismo. Al fin y al cabo, nadie es perfecto, pero si quiero solucionar este error tendré que hacerlo a la antigua usanza: examinando y depurando el código. La dificultad aquí es que yo no he escrito el código, lo que añade una barrera, pero como el objetivo final es aprender el lenguaje de programación, seguro que me será útil.

Lo primero que me llama la atención es que se está importando MagicMock de unittest.mock. Mi primer contacto con mocking frameworks fue en 2005, cuando estaba utilizando Extreme Programming y por extensión TDD. Desde entonces, y viniendo del mundo Java, he visto pasar muchos frameworks para construir mocks. Me pregunto por qué ha elegido MagicMock en particular. En otra época, habría buscado información en Google, investigando alternativas, investigando qué framework es más maduro o aceptado según Google Trends, pero ahora tenemos chatbots para ayudarnos, así que le hago tres preguntas encadenadas para ver cómo responde:

1. ¿Por qué has elegido unittest.mock y MagicMock como framework para fabricar los mocks?
2. ¿Hay alternativas? ¿Qué otras opciones hay?
3. ¿Podrías reescribir los tests con pytest y pytest-mock?

Para la primera pregunta, devuelve una respuesta bastante completa con seis puntos a favor de esta opción.

En la segunda, ofrece seis alternativas, explicando cuáles son los puntos fuertes de cada una. Incluso menciona una, mockito, que ya conocía del mundo Java. La que más me convence es la primera: pytest con pytest-mock. De ahí surge la tercera pregunta; no solo me reescribió el código de los tests, sino también el código que quería testear. Sin embargo, se quedó colgado generando el código de los tests, y tuve que pedirle que lo generara de nuevo. No es la primera vez que me pasa esto, que se quede a mitad de camino; me imagino que es lo que sucede bajo condiciones excepcionales, pero yo esperaría un mensaje de error, al menos para saber que no pudo terminar.

Con pytest, la forma de ejecutar los tests es distinta. Al probarlo, me da un error, así que le pregunto otra vez:

Cuando ejecuto "pytest", me da el error:

pytest : The term 'pytest' is not recognized as the name of a cmdlet, function, script file, or operable program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.

¿Sabes cuál es el problema?

 

En esta ocasión, me vuelve a generar dos respuestas, me gusta más la primera, es un poco más directa, y me sugiere ejecutar los test como un comando de python: python -m pytest.

Y ahora si, es capaz de ejecutar los test, las malas noticias es que falla en el mismo punto que con la versión anterior.

Seguientes pasos - Claves - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? III

 

Este artículo es el tercero de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

¿Cuáles serían los siguientes pasos?

Lo que más me incomoda es que mi token de la API de Spotify esté visible en el código. Se me ocurre mover esos valores a un vault de secretos o, al menos, a variables de entorno, para que no estén visibles en GitHub. Pero, ¿por qué no preguntárselo a nuestro chatbot?

¿Cómo puedo hacer para que la variable TU_CLIENT_SECRET no esté en claro en el código?

El código que me genera ChatGPT utiliza una librería para trabajar con variables de entorno, python-dotenv. Esta librería coloca las variables en un archivo .env, y luego hay que asegurarse de que este archivo no se suba al repositorio añadiéndolo al .gitignore. Pero, ¿es esta la mejor opción? Una de las características de estos modelos es que, para una misma pregunta, no siempre generan la misma respuesta. De hecho, puedes “volver a generar” la respuesta usando el ícono de las dos flechas circulares.

La segunda respuesta es muy parecida: misma estrategia, misma librería. Al final de la respuesta, ChatGPT pregunta: "¿Esta respuesta fue mejor o peor?". Respondí que era igual de buena, porque me parece que no hay nada nuevo. Así estamos ayudando a entrenar el modelo. Sin embargo, como es prácticamente lo mismo, decido volver a generar otra respuesta. Y una vez más, la tercera opción utiliza la misma estrategia. Me pregunto, ¿es esta la solución más extendida en la comunidad y por eso siempre devuelve lo mismo? ¿O ChatGPT simplemente reescribe la respuesta con otras palabras? En lo que respecta al código, los cambios son cosméticos. En las tres veces que he regenerado la respuesta, solo cambiaron los comentarios del código y el orden de una librería. Concluyo que, al volver a generar los resultados, al menos en este caso, la respuesta no cambia sustancialmente. Dejo los resultados en GitHub.

En los ejemplos anteriores, el código generado es muy sencillo. Cuando estás aprendiendo, esto seguramente sea una ventaja, pero está dejando fuera aspectos fundamentales de la programación, elementos necesarios para escribir buen código. Por ejemplo, echo de menos una clase Canción y más fundamentos de programación orientada a objetos. Veamos si nos puede ayudar:

¿Puedes reescribir el anterior código pero con una programación orientada a objetos?, ¿puedes incluir una clase canción?

El código generado sigue siendo sencillo, pero ahora veo dos clases: Cancion y SpotifyRockTracks. La clase Cancion tiene un método __init__ y otro __str__, lo cual me agrada; parece seguir convenciones de código que ya he visto en otros lenguajes, y, al investigar un poco, confirmo que es así.

Pruebo a ejecutar el código, y funciona sin errores nuevamente. Parece que la cosa funciona.

Generación de Código - ¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje? II

Este artículo es el segundo de una series acerca de  De cómo aprender python con ChatGPT, en el enlace previo, puedes empezar por el principio si quieres.

Generación de Código

¡Comencemos!. Eso si, por algo sencillo, por ejemplo creando un pequeño programa en python, que usando la API de spotify nos devuelva una lista de las canciones rock más escuchadas durante el mes pasado. El prompt que he utilizado es casi literal:

¿me puedes escribir código en python para sacar una lista de las canciones rock más escuchadas en spotify durante el mes pasado, usando la api de spotify?

Nota: ChatGPT te permite compartir una conversación generando un enlace, puedes ver toda la conversación aquí.

Hasta ahora, todo va bien. ChatGPT genera todo el código y lo explica claramente. Ya podemos observar ciertas características del lenguaje, cómo utilizar librerías y cómo definir funciones. Sin embargo, si eres una persona de acción, lo que probablemente quieras ahora es ver el código en funcionamiento. Por eso, la siguiente pregunta qué le haría es:

¿Cómo puedo ejecutar este código?

La respuesta generada no está mal, e incluso recomienda algunos IDEs para la edición del código. No obstante, asume que ya tengo un entorno de desarrollo configurado o que, al menos, ya tengo Python instalado, lo cual podría no ser el caso. Lo primero que nos indica es que instalemos la librería con “pip install spotipy”. Si no tienes Python instalado, esto devolverá un error:

'pip' is not recognized as an internal or external command,

operable program or batch file.

En este tipo de casos, aunque el mensaje de error es bastante claro, lo habitual es buscar la solución en algún buscador. Ese es el primer impulso de quienes hemos programado durante las últimas décadas. Sin embargo, como estamos probando ChatGPT, deberíamos resistirnos a ese impulso y… ¿por qué no preguntárselo directamente a él? Una de las características que más me gustan de estos bots conversacionales es precisamente esa: que puedes tener una conversación continua con ellos. Esta sería la tercera pregunta que le hago en el mismo diálogo, por lo que no necesito dar más contexto. Bastaría con decirle que me ha dado un error y añadir el mensaje de error.

Una vez más, la respuesta no está nada mal. Me gusta que ofrezca diferentes opciones para distintos sistemas operativos. El enlace generado para descargar la última versión de Python funciona, y los pasos son bastante claros. Después de cinco minutos, ya lo tengo todo instalado. Conseguir el ID de proyecto en Spotify y el token para poder usar la API me lleva un poco más de tiempo, pero al final ya lo tengo todo funcionando. La pregunta es:

¿Me ha hecho más eficiente ChatGPT?

En otras palabras, ¿he ahorrado tiempo? ¿Se han cimentado mejor los conocimientos que estoy intentando aprender? Mi impresión personal es que sí, pero aún queda mucho camino por recorrer. Estos son solo los primeros pasos. ¿Me servirá para aprender conceptos más avanzados del lenguaje? ¿Es correcto el código? ¿Es el mejor código posible? ¿Qué implicaciones de seguridad hay que tener en cuenta?

¿Cómo de bueno es ChatGPT para aprender un nuevo lenguaje?

Mi primer contacto serio aprendiendo lenguajes de programación fué en la Universidad, estudiando Ingeniería Informática, antes de eso hice algo con Visual Basic, pero de aquellas no sabía ni por dónde empezar, comencé mis estudios en 1996, ni que decir tiene que en esa época todo lo relacionado con la informática era diferente, y sobre todo aprender un lenguaje de programación, en primer curso ya teníamos una clase que se llamaba justo así, “Programación I”, recuerdo que aprendimos Pascal, un lenguaje muy elegante, y fue el profesor el que nos condujo por los distintos elementos que componen un lenguaje como Pascal, Sintaxis, Semántica, Tipos de datos, Variables, Operadores, Estructuras de Control y un largo etcétera. Por supuesto el examen era escribir un programa, pero con la dificultad añadida de que había que escribirlo en papel, sin compilador!, sólo de pensarlo ahora me parece aterrador, no tener feedback inmediato de lo que estás escribiendo es por lo menos sintácticamente correcto me asusta.

Para otras asignaturas aprendí otros lenguajes, generalmente porque pedían las prácticas en esos lenguajes, Cobol para “Calidad del Software”, C++ para Bases de Datos y Teoría de Autómatas y Lenguajes formales, Eiffel, Ensamblador, etc, para estos últimos el alumno ya tenía que buscarse la vida, a veces los profesores ponían a disposición de la clase un manual, pero a esas alturas ya sabíamos que lo más útil era conseguir un libro de programación, por ejemplo el mítico "The C++ Programming Language" por Bjarne Stroustrup.

Cuando terminé el Ciclo superior de Ingeniería Informática, decidí hacer el proyecto de fin de carrera sobre un motor de búsqueda que despuntaba en aquella época, Google, quería aprender más de tecnologías web, que ya por aquel entonces eran omnipresentes, elegí Java, sobre todo porque en aquella época parecía que iba a ser un lenguaje de programación útil en el futuro, y de qué manera lo fué, la mayor parte de mi vida profesional ha sido una constante, cuando has programado tanto y tienes tanto dominio sobre un lenguaje las metas son distintas, ya nos centramos más en sutilezas, y este tipo de cosas se aprenden mejor con tus compañeros, haciendo y recibiendo revisiones de código, o incluso mejor, haciendo programación pareada (pair programing), para ir más lejos puedes leer libros de programación especializados.

El caso es cuando ya tienes un nivel muy alto en un lenguaje de programación y quieres aprender otro, un curso básico de programación en ese lenguaje te va a resultar muy aburrido, porque la mayoría de los conceptos ya los tienes, seguramente sea mejor comprar un libro que te sirva de referencia y empezar un pequeño proyecto para irte familiarizando con el nuevo lenguaje, y es aquí donde yo creo que las nuevas herramientas de Inteligencia artificial pueden jugar un papel importante. Hoy en día todo está colgado en internet, puedes encontrar miles de tutoriales sobre lo que buscas, millones de ejemplos, stackoverflow te va a ayudar con los errores, los buscadores tradicionales como google serán tu puerta de entrada, pero estos buscadores ya no devuelven información tan buena como antes, los intereses económicos se han hecho con ellos, ya no tienen nada que ver con la teoría de recuperación de información, ya hay que hacer mucho scroll para saltar los anuncios y llegar a los resultados de verdad, y de estos resultados ya tampoco te puedes fiar por las razones anteriores.

¿Por qué ahora?

ChatGPT ha estado en funcionamiento durante varios años, pero la versión ChatGPT-4 fue lanzada el 14 de marzo de 2023. El año pasado, realicé un ejercicio similar al que estoy haciendo ahora. Mi objetivo era automatizar un proceso mediante la creación de un script que, utilizando la API de TestRail (una herramienta de gestión de pruebas), quería extraer todos los datos de los casos de prueba para poder realizar análisis estadísticos y generar gráficos. Sin embargo, los resultados no fueron tan satisfactorios como esperaba. Aunque ChatGPT me ayudó con la estructura, al final preferí utilizar la solicitud que capturé con el navegador (F12 -> Pestaña Network). El navegador permite copiar la solicitud en varios formatos; yo opté por cURL para poder probarla sin el navegador, de forma aislada, eliminando todo lo innecesario y luego traduciéndola a Python. Para esto, incluso hay herramientas que automatizan la conversión.

Mi conclusión en ese momento fué que ChatGPT te puede hacer más productivo, ayudar en momentos puntuales, pero que no era un “Game Changer” como nos lo estaban vendiendo. Entre las mejoras que openAI incorpora en ChatGPT-4, destaca:

Mejora en la Generación de Código: GPT-4 muestra una mayor competencia en la generación y corrección de código, lo que lo hace más útil para desarrolladores y programadores.

A mi me gustaría investigar cómo de grande es esta mejora.