Une expérience menée en 2022 à l'université Vanderbilt sur 75 000 devoirs d'étudiants a révélé que la fonction de détection d'IA de Turnitin aurait pu signaler à tort 1% des copies comme générées artificiellement. Ce taux de faux positifs soulève des inquiétudes sur la fiabilité des outils de détection d'IA dans le milieu académique.
L'étude, qui n'a pas été formellement publiée mais a été rapportée par des responsables universitaires, met en lumière les défis auxquels les universités sont confrontées face à l'utilisation croissante de l'IA générative par les étudiants. Turnitin, un service de détection de plagiat largement utilisé, a introduit sa fonction de détection d'écriture IA en avril 2023.
Les experts avertissent que les faux positifs peuvent entraîner des accusations injustes envers les étudiants, en particulier ceux dont l'anglais n'est pas la langue maternelle ou qui utilisent des styles d'écriture formulaires. L'expérience de Vanderbilt souligne la nécessité d'un examen humain minutieux avant de pénaliser les étudiants sur la seule base des scores de détection d'IA.
