Il est beaucoup question dans l’actualité, depuis un an, des robots conversationnels, notamment de ChatGPT. Histoire de tester celui-ci, l’Oreille tendue lui a posé sept questions :
Qui est le professeur de littérature québécois Benoît Melançon ?
Quels sont les travaux du professeur Benoît Melançon sur la littérature française du XVIIIe siècle ?
Quels sont les travaux du professeur Benoît Melançon ?
Benoît Melançon a-t-il publié des textes sur le hockey ?
Benoît Melançon a-t-il publié des travaux sur la correspondance ?
Benoît Melançon a-t-il publié des travaux sur la culture numérique ?
Benoît Melançon est-il parfois invité à la radio de Radio-Canada ?
Résultats ?
ChaptGPT est convaincu que les travaux de l’Oreille tendue «portent sur divers sujets, notamment la littérature québécoise du XIXe siècle, la culture populaire, la bande dessinée et la littérature de voyage». Pour les trois dernières choses, ça va à peu près, encore que ce soit assez marginal dans sa production scientifique. En ce qui concerne le XIXe siècle québécois, le robot a tout faux : l’Oreille a consacré l’essentiel de ses travaux à la littérature française du XVIIIe siècle. Qu’en pense ChatGPT ? «À ma connaissance, Benoît Melançon est plutôt un spécialiste de littérature québécoise et de culture populaire, et il a moins d’implication dans la littérature française du XVIIIe siècle.»
L’Oreille a écrit des masses de choses sur la pratique de la lettre. ChatGPT l’ignore : «À ma connaissance, Benoît Melançon s’est principalement concentré sur des sujets tels que la littérature québécoise, la culture populaire, la littérature du XIXe siècle et d’autres domaines connexes. Cependant, il est possible qu’il ait abordé des questions de correspondance dans le cadre de ses recherches sur la littérature du XIXe siècle, où la correspondance épistolaire était souvent un élément important.»
Le numérique ? Rien.
Radio-Canada ? Rien non plus.
L’Oreille a (co)signé plus de vingt-cinq livres (ouvrages individuels ou collectifs). ChatGPT n’en connaît aucun. Au contraire, elle lui en prête six : l’Oreille n’a écrit aucun de ces six livres, ni celui sur «l’émergence et l’impact de la culture rock au Québec dans les années 1950 et 1960», ni le Hockey : une poésie.
ChatGPT reconnaît par avance ses erreurs : «ChatGPT can make mistakes. Consider checking important information.» C’est un euphémisme. C’est d’autant plus troublant que les travaux de l’Oreille sont partout sur le Web, ici ou là.
Pour le dire poliment : peut mieux faire.
Illustration : logo de ChatGPT, photo déposée sur Wikimedia Commons
[Complément du jour]
Alexandre Bazinet a soumis les mêmes questions à la version améliorée (et payante) de ChatGPT. Les résultats sont spectaculairement différents.
La recherche s’appuie sur Wikipédia, sur le site benoitmelancon.quebec, sur ce blogue, sur divers sites de l’Université de Montréal, sur le site de Radio-Canada, etc. On n’y trouve aucune erreur factuelle. C’est évidemment incomplet, mais tout à fait utile et moins délirant que la version gratuite. Ceci pose un vrai problème : comment expliquer de telles différences entre les deux versions ?