ChatGPT, el modelo de lenguaje desarrollado por OpenAI ha estado generando titulares en las últimas semanas debido a la creciente preocupación que existe en el sector educativo de que se use para cometer plagio académico. De hecho, la herramienta fue baneada de las redes de las escuelas públicas de Nueva York debido al potencial efecto negativo que tiene en los estudiantes. No hay que ser un genio para saber que una herramienta totalmente gratuita y con el poder de escribir ensayos, tareas, informes y otro tipo de trabajos en un abrir y cerrar de ojos, está siendo usada por más de un estudiante con pocas ganas de hacer la tarea para evadir sus responsabilidades.
Curiosamente, este boom en popularidad que ChatGPT ha experimentado también ha tenido como consecuencia la aparición de herramientas diseñadas para detectar texto generado por ChatGPT; pues después de todo, si una máquina lo creó, otra máquina podrá detectarlo, o al menos esa es la premisa.
Cómo detectar texto hecho con ChatGPT usando GPTZero
Es así como llegamos a GPTZero, una app desarrollada por Edward Tian de Tech&Co, y que funciona gracias a GPT-2, un modelo anterior de ChatGPT. Entrando en detalles, GPTZero promete detectar con eficacia y rapidez si el texto fue generado mediante ChatGPT o algún otro chatbot basado en este último.
Usar esta herramienta es relativamente sencillo, aunque obviamente tiene sus peros. Sea como sea, usarla no cuesta nada y podemos hacerlo desde la página web creada para ello. En el campo de texto se nos instará a pegar el texto que deseamos analizar y posteriormente hemos de pulsar CTRL + Enter para ver el resultado.
GPTZero clama tener la capacidad de calcular la perplejidad de un texto, es decir, la aleatoriedad del texto. Entre más alto sea el índice de perplejidad, el texto será más caótico y, por ende, es menos probable que lo haya generado un modelo de lenguaje.
GPTZero evalúa este índice usando el ya mencionado GPT2, a la vez que contrasta con dicho modelo la familiaridad en los patrones de texto.
No hay una solución perfecta
Desafortunadamente no podemos decir que exista una solución perfecta y universal para detectar el texto generado por computadora, este es un tema bastante completo y relativamente reciente. En este sentido, está demostrado que es posible engañar a GPTZero cometiendo errores adrede en el texto y añadiendo espaciados adicionales a ciertas palabras. Por si fuera poco, se le puede pedir al programa que escriba de manera irregular, por ejemplo, usando emojis.
Okay, found something real. The above method isn't a fair attack, since no teacher would accept emojis, but this one is:
1) Generate a text using ChatGPT
2) Insert a zero-width space before all instances of "e"
3) The text will now pass the GPTZero detector pic.twitter.com/lGFwnPV79I— Riley Goodside (@goodside) January 4, 2023
Asimismo, actualmente es mucho menos eficiente en textos escritos en otros idiomas que no sean inglés. En cierta manera esto era de esperarse considerando que GPTZero está basado en una versión menos avanzada de ChatGPT, pero eso también significa que puede mejorarse a futuro.
No cabe duda que a futuro saldrán herramientas más avanzadas para dicho fin, así como también IAs más avanzadas que dejarán a la de OpenAI en ridículo, pero hasta entonces, esto es lo que hay.
El método manual también está sobre la mesa, pero obviamente no es tarea sencilla. Con eso en mente, el diablo está en los detalles, y si algo tienen en común estos bots de chats, es el uso de palabras muy formales e impersonales, así como también la repetición de palabras, construcciones gramaticales y uso de ejemplos.
Nuevamente, no es una tarea sencilla hacer la distinción, pero que no quepa duda de que el esfuerzo para detectar texto escrito por computadora acaba de empezar.
