Myriam Ertz, professeure de marketing au Département des sciences économiques et administratives

Chat (à prononcer [tchate]) est un mot générique faisant référence à une discussion en ligne tandis que GPT signifie « generative pre-trained transformer » car l’outil a été entraîné sur des milliards de données (175 milliards pour la version GPT-3.0) afin de générer des réponses pertinentes.  La version gratuite de base actuelle GPT-3.50, a été entrainée pour interpréter des requêtes textuelles. La version GPT-4.0, payante, interprète autant du texte que des images. Il s’agit donc d’un outil très puissant et dont on sous-estime encore le plein potentiel ainsi que l’impact qu’il aura sur de nombreux domaines dont la recherche, mais surtout l’enseignement!

Considérant les capacités impressionnantes de cette technologie, pourquoi ne pas demander directement à la principale intéressée quel sera son impact sur l’enseignement post-secondaire? Les réponses obtenues ci-dessous proviennent textuellement de l’outil ChatGPT-4.0 en réponse à la question « Comment, ChatGPT, contribuerez-vous à l’enseignement dans l’enseignement post-secondaire ? » Deux requêtes utilisant exactement la même question ont été lancées. Dans un souci de concision, seule la réponse 2 est rapportée dans la figure ci-dessous, cette réponse étant plus courte (352 mots) que la première (461 mots).

La caractérisation de Chat-GPT comme une « technologie de génération de langage naturel » prend tout son sens lorsqu’on effectue deux fois la même requête. En effet, la même question posée donne souvent lieu à deux réponses, sensiblement identiques sur le fond, mais drastiquement différentes sur la forme. Dans notre cas, deux réponses différentes ont été obtenues en réponse à la question posée ci-haut. Ainsi, dans la réponse 1, le premier exemple de contribution de l’outil à l’enseignement portait sur le « Soutien aux devoirs et aux projets » avec notamment « aider les étudiants à clarifier des instructions de devoirs ou à brainstormer pour des projets de recherche; Fournir des explications alternatives pour des concepts difficiles, agissant comme un outil supplémentaire d’étude ». A contrario, dans la deuxième réponse, l’outil affirme être une « Ressource de référence rapide » et indique « Je peux offrir des réponses instantanées aux questions des étudiants, ce qui peut être particulièrement utile lorsqu’ils révisent ou ont besoin de clarification rapide en dehors des heures de cours. » Ce dernier point est d’ailleurs tout à fait vrai, puisque l’outil est disponible en tout temps (24/7).

Vient donc pour l’enseignant l’épineux problème de la détection de contenu provenant de l’intelligence artificielle générative. Il est difficile de détecter le plagiat sur ChatGPT puisque l’outil produit des résultats différents en fonction de la formulation des questions posées, mais également lorsque les questions sont parfaitement identiques.  Toutefois, certains chercheurs ont relevé le défi de détecter l’IA dont la firme montréalaise Draft & Goal. Cet outil gratuit de détection de l’IA identifierait le contenu produit par ChatGPT avec une fiabilité de 93%. En analysant le contenu des deux réponses obtenues à la question posée ci-haut, l’outil a toutefois échoué. Pire, pour la première réponse, l’outil estime à 8% la probabilité que le texte ait été rédigé par ChatGPT, et pour la deuxième réponse, le taux n’est que de 4%. En fait, l’outil ne peut que détecter le contenu de la version ChatGPT-3.0 et non celle de ChatGPT-4.0. En posant la même question à la version gratuite ChatGPT-3.5, et en soumettant la réponse à Daft & Goal, le taux monte timidement à 18%. En fait, la langue  pourrait également être en cause ici car, les créateurs de Daft & Goal ont testé leur outil sur 2000 textes rédigés…en anglais. Et même si en janvier 2023, ils annonçaient travailler sur un algorithme amélioré, force est de constater que celui-ci n’est ni à jour avec l’innovation technologique fulgurante, ni adapté au multilinguisme. Il faut aussi que le texte étudié comporte un minimum de 400 mots. L’outil est donc certes, utiles, mais pourvu que le texte à analyser soit en anglais, comporte minimalement 400 mots, et ait été généré par ChatGPT-3.0. Autant de conditions qu’il peut être difficile à remplir.

ZeroGPT est spécifiquement prévu pour ChatGPT-4.0 puisque l’outil a détecté le fait que les deux réponses obtenues aient été générées par AI/GPT. Le taux s’établit à 40,35% pour la réponse 1 et à 37,79% pour la réponse 2. Ce taux est très similaire à celui qui a été obtenu par le Prof. Roy (41%) sur 300 articles. Le professeur de l’école des médias de l’UQAM a également souligné la faible propension de ces outils à détecter l’IA dans les textes rédigés en français (Roy, 2023). L’outil surligne toutefois en jaune les parties du texte qui sont le plus vraisemblablement générées par l’IA ce qui est très pratique pour confondre un auteur peu inspiré. Il est toutefois à noter que la version gratuite du détecteur est limitée à 15 000 caractères tandis qu’en bon freemium, l’outil devient payant pour un maximum de 100 000 caractères à analyser. Outre le coût, c’est surtout la rapidité des développements technologiques qui peut faire grincer des dents. À peine un détecteur parvient à repérer le texte généré par une version spécifique de ChatGPT, qu’une version générative encore plus avancée émerge sur la toile. Technologies génératives et outils de détection de l’IA jouent ainsi à un jeu sans fin de police-voleur auquel s’adonnent, par extension, à leur niveau, professeurs et étudiants.

Heureusement, ChatGPT conclut toujours ses réponses par une touche d’espoir : « l’usage de ChatGPT doit être encadré par des principes pédagogiques solides et éthiques, en complément et non en remplacement de l’interaction humaine et de l’expertise des enseignants » (réponse 1) ou encore que sa contribution est « destinée à compléter, et non à remplacer, l’enseignement dispensé par des professionnels humaine » (réponse 2). Ouf nous voilà sauvés et surtout prévenus!

Références

BDM (n.d.). ChatGPT: La générateur de texte par intelligence artificielle d’OpenAI. https://www.blogdumoderateur.com/tools/chatgpt/

Draft & Goal (n.d.). Draft & Goal Beta. https://detector.dng.ai/fr

Dupuis, S. (2023). Un outil montréalais pour détecter l’IA pourrait contrer les « dérives de ChatGPT ». Radio-Canada, 20 janvier 2023. https://ici.radio-canada.ca/nouvelle/1949725/outil-detection-intelligence-artificielle-chat-gpt-draft-goal

Roy, J.-H. (2023). J’ai testé un outil de détection de ChatGPT : j’ai perdu mon temps. La Conversation, 23 mars 2023. https://theconversation.com/jai-teste-un-outil-de-detection-de-chatgpt-jai-perdu-mon-temps-201745

ZeroGPT (n.d.). Trusted GPT-4, ChatGPT and AI Detector tool by ZeroGPT. https://www.zerogpt.com/pricing