Il est beaucoup question dans l’actualité, depuis un an, des robots conversationnels, notamment de ChatGPT. Histoire de tester celui-ci, l’Oreille tendue lui a posé sept questions :
Qui est le professeur de littérature québécois Benoît Melançon ?
Quels sont les travaux du professeur Benoît Melançon sur la littérature française du XVIIIe siècle ?
Quels sont les travaux du professeur Benoît Melançon ?
Benoît Melançon a-t-il publié des textes sur le hockey ?
Benoît Melançon a-t-il publié des travaux sur la correspondance ?
Benoît Melançon a-t-il publié des travaux sur la culture numérique ?
Benoît Melançon est-il parfois invité à la radio de Radio-Canada ?
Résultats ?
ChaptGPT est convaincu que les travaux de l’Oreille tendue «portent sur divers sujets, notamment la littérature québécoise du XIXe siècle, la culture populaire, la bande dessinée et la littérature de voyage». Pour les trois dernières choses, ça va à peu près, encore que ce soit assez marginal dans sa production scientifique. En ce qui concerne le XIXe siècle québécois, le robot a tout faux : l’Oreille a consacré l’essentiel de ses travaux à la littérature française du XVIIIe siècle. Qu’en pense ChatGPT ? «À ma connaissance, Benoît Melançon est plutôt un spécialiste de littérature québécoise et de culture populaire, et il a moins d’implication dans la littérature française du XVIIIe siècle.»
L’Oreille a écrit des masses de choses sur la pratique de la lettre. ChatGPT l’ignore : «À ma connaissance, Benoît Melançon s’est principalement concentré sur des sujets tels que la littérature québécoise, la culture populaire, la littérature du XIXe siècle et d’autres domaines connexes. Cependant, il est possible qu’il ait abordé des questions de correspondance dans le cadre de ses recherches sur la littérature du XIXe siècle, où la correspondance épistolaire était souvent un élément important.»
Le numérique ? Rien.
Radio-Canada ? Rien non plus.
L’Oreille a (co)signé plus de vingt-cinq livres (ouvrages individuels ou collectifs). ChatGPT n’en connaît aucun. Au contraire, elle lui en prête six : l’Oreille n’a écrit aucun de ces six livres, ni celui sur «l’émergence et l’impact de la culture rock au Québec dans les années 1950 et 1960», ni le Hockey : une poésie.
ChatGPT reconnaît par avance ses erreurs : «ChatGPT can make mistakes. Consider checking important information.» C’est un euphémisme. C’est d’autant plus troublant que les travaux de l’Oreille sont partout sur le Web, ici ou là.
Pour le dire poliment : peut mieux faire.
Illustration : logo de ChatGPT, photo déposée sur Wikimedia Commons
[Complément du jour]
Alexandre Bazinet a soumis les mêmes questions à la version améliorée (et payante) de ChatGPT. Les résultats sont spectaculairement différents.
La recherche s’appuie sur Wikipédia, sur le site benoitmelancon.quebec, sur ce blogue, sur divers sites de l’Université de Montréal, sur le site de Radio-Canada, etc. On n’y trouve aucune erreur factuelle. C’est évidemment incomplet, mais tout à fait utile et moins délirant que la version gratuite. Ceci pose un vrai problème : comment expliquer de telles différences entre les deux versions ?
Cette œuvre est sous Licence Creative Commons Internationale Attribution-Pas d'Utilisation Commerciale 4.0.
Et la bibliographie alors ? Pas même y en aurait-il 590 livraisons ?
Nous, bibliographes, sommes bien peu de chose devant pareille machine.
(De la part de l’ami Jean-Marie Klinkenberg.)
1) J’ai mené la même expérience que toi. Les résultats sont pires, si c’est possible : cette Intelligence m’a attribué des postes que je n’ai jamais occupés, et des tas de livres que je n’ai pas écrits. J’ai bien tenter de la corriger pas à pas («Ah, maintenant je me souviens : je crois bien que X enseigne à l’université Y»), mais Chat-Gepetto n’est jamais arrivé aux bonnes informations.
2) Pour éviter le biais personnel, j’ai recommencé l’expérience avec un collègue qui est une sommité en égyptologie : on a fait de lui un spécialiste de l’hébreu…
3) J’ai aussi soumis à Gepetto deux des mes examens écrits destinés à des étudiants de première année, examens qui pouvaient être corrigés avec un barème très objectif (du moins les questions qui pouvaient passer par le canal question-réponse. Pas question de lui faire tracer une ligne d’isoglosse sur une carte). Résultat : très très insuffisant dans les deux cas : pour les questions mécaniques (par exemple transcrire un texte en API), cela allait, mais dès qu’il s’agissait d’intelligence (par exemple trouver un intrus dans une série et expliquer le raisonnement qui avait permis de l’identifier), notre Artificielle était systématiquement absente…