La herramienta digital detecta el texto académico generado por ChatGPT con un 99 % de precisión

LAWRENCE — Heather Desaire, una química que utiliza el aprendizaje automático en la investigación biomédica en la Universidad de Kansas, presentó una nueva herramienta que detecta con un 99 % de precisión el texto científico generado por ChatGPT, el generador de texto de inteligencia artificial.

La revista revisada por pares Cell Reports Physical Science publicó una investigación que muestra la eficacia de su método de detección de IA, junto con código fuente suficiente para que otros repliquen la herramienta.

Desaire, presidente de Keith D. Wilner en Química en KU, dijo que se requieren con urgencia herramientas precisas de detección de IA para defender la integridad científica.

"ChatGPT y todos los demás generadores de texto de IA inventan hechos", dijo. "En la publicación científica académica (escritos sobre nuevos descubrimientos y la vanguardia del conocimiento humano), realmente no podemos darnos el lujo de contaminar la literatura con falsedades que suenan creíbles. Inevitablemente, se abrirían camino en las publicaciones si los generadores de texto de IA se usaran comúnmente. Por lo que yo sé, no existe una forma infalible de, de manera automática, encontrar esas "alucinaciones", como se las llama. se volverán menos confiables, menos valiosos".

Ella dijo que el éxito de su método de detección depende de reducir el alcance de la escritura bajo escrutinio a la escritura científica del tipo que se encuentra comúnmente en las revistas revisadas por pares. Esto mejora la precisión con respecto a las herramientas de detección de IA existentes, como el detector RoBERTa, cuyo objetivo es detectar la IA en una escritura más general.

"Puede construir fácilmente un método para distinguir la escritura humana de ChatGPT que sea muy precisa, dada la compensación de que se está restringiendo a considerar un grupo particular de humanos que escriben de una manera particular", dijo Desaire. "Los detectores de IA existentes generalmente están diseñados como herramientas generales para aprovechar cualquier tipo de escritura. Son útiles para su propósito previsto, pero en cualquier tipo específico de escritura, no serán tan precisos como una herramienta creada para eso". propósito específico y estrecho".

Desaire dijo que los instructores universitarios, las entidades que otorgan subvenciones y los editores requieren una forma precisa de detectar la salida de IA presentada como trabajo de una mente humana.

"Cuando empiezas a pensar en 'plagio de IA', una precisión del 90 % no es suficiente", dijo Desaire. "No se puede andar acusando a las personas de usar la IA de manera subrepticia y equivocarse con frecuencia en esas acusaciones: la precisión es fundamental. Pero para obtener precisión, la compensación suele ser la generalización".

Los coautores de Desaire eran todos de su grupo de investigación de KU: Romana Jarosova, profesora asistente de investigación de química en KU; David Huax, analista de sistemas de información; y las estudiantes de posgrado Aleesa E. Chua y Madeline Isom.

El éxito de Desaire y su equipo en la detección de texto de IA puede deberse al alto nivel de conocimiento humano (frente a la detección de patrones de aprendizaje automático) que se utilizó para diseñar el código.

"Usamos un conjunto de datos mucho más pequeño y mucha más intervención humana para identificar las diferencias clave en las que nuestro detector debe enfocarse", dijo Desaire. "Para ser exactos, construimos nuestra estrategia usando solo 64 documentos escritos por humanos y 128 documentos de IA como nuestros datos de entrenamiento. Esto es quizás 100 000 veces más pequeño que el tamaño de los conjuntos de datos usados ​​para entrenar otros detectores. La gente suele pasar por alto los números. Pero 100.000 veces: esa es la diferencia entre el costo de una taza de café y una casa. Entonces, teníamos este pequeño conjunto de datos, que podía procesarse súper rápido, y todos los documentos podían ser leídos por personas. Usamos nuestros cerebros humanos. para encontrar diferencias útiles en los conjuntos de documentos, no confiamos en las estrategias para diferenciar a los humanos y la IA que se habían desarrollado previamente".

De hecho, el investigador de KU dijo que el grupo construyó su enfoque sin depender de las estrategias de enfoques anteriores para la detección de IA. La técnica resultante tiene elementos completamente únicos en el campo de la detección de texto por IA.

"Me da un poco de vergüenza admitir esto, pero ni siquiera consultamos la literatura sobre detección de texto de IA hasta que tuvimos nuestra propia herramienta de trabajo a mano", dijo Desaire. "Estábamos haciendo esto no basándonos en cómo los informáticos piensan sobre la detección de texto, sino usando nuestra intuición sobre lo que funcionaría".

En otro aspecto importante, Desaire y su grupo cambiaron el guión de los métodos utilizados por equipos anteriores que construyeron métodos de detección de IA.

"No hicimos que el texto de IA fuera el centro de atención al desarrollar las características clave", dijo. “Hicimos que el texto humano fuera el centro de atención. La mayoría de los investigadores que construyen sus detectores de IA parecen preguntarse: '¿Cómo es el texto generado por IA?' Preguntamos: '¿Cómo se ve este grupo único de escritura humana y en qué se diferencia de los textos de IA?' En última instancia, la escritura de IA es escritura humana, ya que los generadores de IA están construidos con grandes depósitos de escritura humana que ensamblan, pero la escritura de IA, al menos de ChatGPT, es escritura humana generalizada extraída de una variedad de fuentes.

"La escritura de los científicos no es la escritura humana generalizada. Es la escritura de los científicos. Y nosotros, los científicos, somos un grupo muy especial".

Desaire ha hecho que el código de detección de IA de su equipo sea totalmente accesible para los investigadores interesados ​​en desarrollarlo. Ella espera que otros se den cuenta de que la IA y la detección de IA están al alcance de personas que ahora no se consideran programadores de computadoras.

"ChatGPT es realmente un avance tan radical, y tanta gente lo ha adoptado tan rápidamente que parece un punto de inflexión en nuestra dependencia de la IA", dijo. "Pero la realidad es que, con un poco de orientación y esfuerzo, un estudiante de secundaria podría hacer lo que hicimos.

"Existen enormes oportunidades para que las personas se involucren en la IA, incluso si no tienen un título en ciencias de la computación. Ninguno de los autores de nuestro manuscrito tiene títulos en ciencias de la computación. Un resultado que me gustaría ver de este trabajo es que las personas interesadas en la IA sabrán que las barreras para desarrollar productos reales y útiles, como el nuestro, no son tan altas. Con un poco de conocimiento y algo de creatividad, muchas personas pueden contribuir en este campo".

Crédito de la foto: Pexels

La Universidad de Kansas es una importante universidad integral de investigación y enseñanza. La misión de la universidad es ayudar a los estudiantes y a la sociedad a educar líderes, construir comunidades saludables y hacer descubrimientos que cambien el mundo. El Servicio de Noticias KU es la oficina central de relaciones públicas del campus de Lawrence.

[email protected] | 1450 Jayhawk Blvd., Suite 37, Lawrence, KS 66045