Ingénieux : ChatGPT crée une fausse étude sur une fausse affirmation

Grâce aux études, à condition qu'elles soient bien préparées, consciencieusement menées et évaluées, les effets des techniques chirurgicales ou des médicaments utilisés peuvent être étudiés, notamment en médecine.

Selon un article paru dans JAMA Ophthalmology, ce processus fastidieux peut être raccourci. Grâce à GPT-4, la version actuellement utilisée par ChatGPT, et à un logiciel supplémentaire pour l'analyse statistique des données, il n'a fallu que quelques clics pour créer un ensemble de données.

Et pas n'importe lequel. Les informations à générer étaient destinées à démontrer les avantages d'une technique de traitement particulière par rapport à une méthode alternative, et c'est exactement ce qu'elles ont fait. D'ailleurs, les données existantes sur la procédure en question ne donnent pas d'avantage à l'un ou l'autre camp.

Il serait donc possible d'obtenir le résultat souhaité en cliquant sur une souris sans trop d'efforts, au lieu de passer des mois ou des années à faire des recherches et d'obtenir en fin de compte le "mauvais" résultat. Cela ressemble à une escroquerie très convaincante dans laquelle l'IA fournit des preuves concluantes en plus de la désinformation.

Après tout, les chercheurs ont aussi des choses positives à signaler : Les données n'ont pas résisté à un examen approfondi. Par exemple, les prénoms et le sexe indiqués ne correspondaient souvent pas. En outre, certaines données ne résistent pas à l'analyse statistique. Par exemple, beaucoup trop d'informations sur l'âge se terminaient par "7" ou "8". Toutefois, les résultats des tests auraient été cohérents.

Pas nouveau, juste plus rapide

Il semble donc qu'il existe des moyens d'aller au fond des choses. Et il est évident que les études ont toujours été mal structurées, évaluées et embellies afin d'obtenir le résultat souhaité.

L'intelligence artificielle n'a fait qu'accélérer ce phénomène. Mais en fin de compte, il ne s'agit que d'un outil qui permet de s'attaquer à des tâches très, très complexes.

Un exemple : l'examen d'énormes ensembles de données de toutes les études possibles pour détecter les incohérences et les anomalies statistiques.