Detectar fraude estudiado podría volverse mucho más difícil gracias a la IA • The Register

Característica La IA generativa plantea desafíos interesantes para los editores académicos que abordan el fraude en artículos científicos, ya que la tecnología muestra el potencial para engañar a la revisión por pares humanos.

Describa una imagen para DALL-E, Stable Diffusion y Midjourney y generarán una en segundos. Estos sistemas de texto a imagen han mejorado rápidamente en los últimos abriles, y lo que inicialmente comenzó como un prototipo de investigación, produjo imágenes benignas y maravillosamente extrañas. ilustraciones de rábanos daikon bebés paseando perros en 2021, desde entonces se transformó en un software comercial, creado por empresas multimillonarias, capaz de originar imágenes cada vez más realistas.

Estos modelos de IA pueden producir imágenes realistas de rostros humanos, objetos y escenas, y parece cuestión de tiempo antiguamente de que además se vuelvan buenos en la creación de imágenes y datos científicos convincentes. Los modelos de texto a imagen ahora son ampliamente accesibles, proporcionado baratos de usar y podrían ayudar a los científicos turbios a falsificar resultados y transmitir investigaciones falsas más fácilmente.

La manipulación de imágenes ya es una gran preocupación para los editores académicos, ya que es la más importante forma global de la mala conducta científica en los últimos tiempos. Los autores pueden usar todo tipo de trucos, como tirar, rotar o recortar partes de la misma imagen para falsificar los datos. A los editores se les hace creer que todos los resultados presentados son reales y publicarán su trabajo.

Muchos editores ahora están recurriendo al software de IA en un esfuerzo por hacer esto. detectar signos de duplicación de imágenes durante el proceso de revisión. En la mayoría de los casos, las imágenes han sido duplicadas por error por científicos que codificaron sus datos, pero a veces se utilizan para fraudes flagrantes.

Pero amoldonado cuando los editores comienzan a controlar la duplicación de imágenes, surge otra amenaza. Algunos investigadores pueden hallarse tentados a utilizar modelos generativos de IA para crear datos falsos. De hecho, hay evidencia que sugiere que los falsos científicos ya están haciendo esto.

¿Imágenes creadas por inteligencia sintético vistas en periódicos?

En 2019, DARPA lanzó su exploración forense semántico (semana para), financiando a investigadores que desarrollan herramientas forenses que pueden detectar medios creados por IA para combatir la desinformación.

Un portavoz de la Agencia de Investigación de Defensa del Tío Sam confirmó que había detectado imágenes médicas falsas publicadas en artículos científicos reales que parecen favor sido generados mediante inteligencia sintético. Antiguamente de los modelos de texto a imagen, las redes generativas antagónicas eran populares. DARPA se dio cuenta de que estos modelos, mejor conocidos por su capacidad para crear falsificaciones profundas, además podrían falsificar imágenes de escaneos médicos, células u otros tipos de imágenes que se encuentran a menudo en estudios biomédicos.

«El panorama de amenazas se está moviendo proporcionado rápido», dijo William Corvey, jefe de programas de SemaFor. El registro. «La tecnología se está volviendo omnipresente para propósitos benignos». Corvey dijo que la agencia ha tenido cierto éxito en el mejora de software que puede detectar imágenes creadas por GAN y que las herramientas aún están en mejora.

El panorama de las amenazas se está moviendo proporcionado rápido

«Tenemos resultados que sugieren que puedes detectar ‘hermanos o primos lejanos’ del mecanismo generativo que aprendiste a detectar antiguamente, independientemente del contenido de las imágenes generadas. El exploración de SemaFor examina una variedad de atribuciones y detalles asociados con medios manipulados, de todo, desde metadatos hasta anomalías estadísticas y más representaciones visuales», dijo.

Algunos analistas de imágenes que buscan datos en artículos científicos además se han antagónico con lo que parecen ser imágenes generadas por GAN. Una GAN es una red antagónica generativa, un tipo de sistema de estudios mecánico que puede originar escritura, música, imágenes y más.

Por ejemplo, Jennifer Byrne, profesora de oncología molecular en la Universidad de Sydney, y Jana Christopher, analista de integridad de imágenes para la revista EMBO Press, se encontraron con un extraño conjunto de imágenes que aparecían en 17 estudios relacionados con la bioquímica.

Las imágenes mostraban una serie de bandas comúnmente conocidas como puntos occidentales, que indican la presencia de proteínas específicas en una muestra, que curiosamente todas parecían tener el mismo fondo. No debería estar pasando.

En 2020, Byrne y Christopher llegaron a la conclusión de que las imágenes de aspecto sospechoso probablemente se produjeron como parte de una operación de una industria de papel: un esfuerzo por producir artículos en masa sobre estudios bioquímicos utilizando datos falsos y revisarlos y publicarlos. Tal travesura podría hacerse, por ejemplo, para beneficiar a los académicos que son compensados ​​en función de su producción en papel aceptada o para ayudar a un área a cumplir con una cuota de artículos publicados.

«Los puntos en el ejemplo que se muestra en nuestra polímero lo más probable es que sean generados por computadora”, dijo Christopher. El registro.

A menudo me lucha con imágenes de aspecto apócrifo, en su mayoría manchas occidentales, pero cada vez más además con imágenes microscópicas.

«Al clasificar los documentos antiguamente y posteriormente de la publicación, a menudo me lucha con imágenes de aspecto apócrifo, en su mayoría transferencias occidentales, pero cada vez más además con imágenes microscópicas. Soy muy consciente de que muchas de estas probablemente se generaron utilizando GAN».

Elisabeth Bik, una investigadora de imágenes independiente, a menudo puede enterarse cuándo las imágenes además han sido manipuladas. Estudie cuidadosamente los manuscritos de los artículos científicos, busque imágenes duplicadas y marque estos problemas para que los editores de revistas investiguen más a fondo. Pero es más difícil batallar contra las imágenes falsas cuando han sido generadas completamente por un cálculo.

Señaló que aunque el fondo cliché en las imágenes resaltadas en el estudio de Byrne y Christopher es un signo revelador de falsificación, las manchas occidentales en sí mismas son únicas. El software de visión por computadora que Bik usa para escanear documentos y detectar fraudes de imágenes tendría dificultades para etiquetar estas bandas porque no hay duplicaciones de los puntos reales.

«Nunca encontraremos una superposición. Creo que todos están hechos artificialmente. Cómo exactamente, no estoy segura», dijo. El registro.

Es más casquivana originar imágenes falsas con los últimos modelos generativos de IA

Las GAN han sido reemplazadas en gran medida por modelos de difusión. Estos sistemas generan imágenes únicas y potencian el software de texto a imagen contemporáneo, incluidos DALL-E, Stable Diffusion y Midjourney. Aprenden a mapear la representación visual de objetos y conceptos en verbo natural y podrían ceñir significativamente la barrera para las trampas académicas.

Los científicos pueden simplemente describir qué tipo de datos falsos quieren originar, y estas herramientas lo harán por ellos. Por el momento, sin retención, todavía no soy capaz de crear imágenes científicas que parezcan realistas. A veces, las herramientas producen grupos de celdas que parecen convincentes a primera panorámica, pero fallan estrepitosamente cuando se negociación de transferencias occidentales.

Este es el tipo de cosas que estos programas de IA pueden originar:

William Gibson, un médico estudiado y miembro de oncología médica, no el popular autor, tiene más ejemplos. Aquíincluyendo cómo los modelos de hoy luchan con el concepto de transferencia occidental.

Sin retención, la tecnología solo está mejorando, ya que los desarrolladores entrenan modelos más grandes con más datos.

David Bimler, otro entendido en buscar la manipulación de imágenes en revistas científicas, más conocido como Smut Clyde, nos dijo: «Los fabricantes de papel ilustrarán sus productos usando cualquier método que sea más saldo y rápido, aprovechando las debilidades en el proceso de revisión entre pares».

«Podrían simplemente copiar [western blots] de documentos antiguos, pero esto además implica despabilarse en documentos antiguos. Por el momento, sospecho que usar una GAN todavía requiere poco de esfuerzo. Aunque eso cambiará”, agregó.

DARPA ahora está buscando expandir su software SemaFor para estudiar sistemas de texto a imagen. “Este tipo de plantillas son proporcionado nuevas y, si adecuadamente están internamente del luces, no forman parte de nuestro trabajo contemporáneo en SemaFor”, dijo Corvey.

“Sin retención, es probable que los evaluadores de SemaFor revisen estos modelos durante la próxima etapa de evaluación del software a partir del otoño de 2023”.

Mientras tanto, la calidad de la investigación científica se erosionará si las editoriales académicas no encuentran formas de detectar imágenes falsas generadas por IA en los periódicos. En el mejor de los casos, esta forma de fraude colegial se limitará a esquemas de fábricas de papel que de todos modos no reciben mucha atención. En el peor de los casos, tendrá un impacto incluso en las revistas más reputadas, y los científicos adecuadamente intencionados perderán tiempo y hacienda persiguiendo ideas falsas que creen que son ciertas. ®