Lorsque nous avons commencé à tester la façon dont les agents conversationnels utilisent les contenus d’Éducaloi, nous nous attendions surtout à repérer leurs erreurs. Après tout, les grands modèles de langage sont connus pour halluciner des informations ou produire des réponses inexactes.
Notre hypothèse était donc assez simple : en analysant les réponses générées par l’IA, nous allions surtout découvrir les limites de ces outils.
Or, nos tests ont révélé quelque chose de plus inattendu. Dans plusieurs cas, les réponses problématiques ne provenaient pas d’informations erronées. Elles s’appuyaient sur des contenus exacts, à jour et conformes au droit. Les difficultés apparaissaient plutôt lorsque ces contenus étaient extraits de leur contexte, résumés ou réutilisés par l’IA.
Autrement dit, en cherchant à comprendre les limites des IA, nous avons aussi découvert certaines fragilités dans la façon dont nos contenus pouvaient être interprétés lorsqu’ils circulaient hors de leur contexte d’origine. Cette expérience nous a amenés à nous poser une question nouvelle : à quoi ressemble un contenu juridique lorsqu’il est lu par une machine plutôt que par une personne?
Pourquoi regarder nos contenus à travers les yeux d’une IA?
Pendant longtemps, nous avons conçu nos contenus en supposant qu’une personne lirait une page complète ou, à tout le moins, plusieurs sections d’un même texte. Le contexte était alors préservé : les définitions précédaient les explications, les exceptions suivaient les règles générales et les nuances étaient réparties dans l’ensemble du contenu.
Les agents conversationnels fonctionnent autrement. Ils récupèrent souvent quelques extraits précis, puis les combinent avec d’autres informations pour construire une réponse. Cependant, lorsqu’un fragment circule seul, certaines nuances peuvent disparaître.
Cette réalité a changé notre façon de voir les choses : nous devons maintenant nous demander, en plus de savoir si un contenu est exact, s’il le demeurerait une fois sorti de son contexte. En d’autres mots : un agent conversationnel pourrait-il lui faire dire autre chose que ce que nous voulions communiquer?
Ce que nous avons découvert
1. Le contexte est fragile
Les agents conversationnels ont tendance à extraire des informations de leur contexte et à les présenter comme des règles générales. Par exemple, dans un contenu sur l’union parentale, il était indiqué qu’en l’absence de testament, le conjoint survivant reçoit le tiers des biens. Cette affirmation était exacte dans une situation précise, mais l’IA la présentait parfois comme une règle générale qui s’applique à tous les couples, alors que la part peut varier, notamment selon la présence ou non d’enfants.
Le contenu d’origine était donc juridiquement exact. Le problème venait plutôt de la disparition d’éléments essentiels (contexte, conditions ou exceptions) qui limitaient la portée de l’information. Une fois isolée de son environnement, une affirmation nuancée peut ainsi perdre une partie de son sens.
2. Les chiffres attirent les erreurs
Les délais, montants, pourcentages et durées semblent particulièrement vulnérables aux mauvaises interprétations. Lors de nos tests, nous avons observé des situations où un délai était associé au mauvais recours, où un pourcentage donné à titre d’exemple devenait une règle générale ou encore où une durée était reprise sans les conditions qui l’accompagnaient.
Par exemple, dans un contenu sur l’aide sociale, un délai lié à une démarche précise était présenté comme s’il s’appliquait à toutes les contestations de décisions gouvernementales. Dans un autre cas, un recours contre une municipalité était présenté comme devant être exercé dans un délai de 15 jours, alors que ce délai varie selon la municipalité et peut parfois être de 60 jours.
Ces erreurs peuvent sembler mineures, mais en droit, une confusion sur un délai ou un montant peut avoir des conséquences importantes.
Les changements que nous avons apportés
À la lumière de ces constats, nous avons revu certains contenus afin qu’ils demeurent justes et nuancés, même lorsqu’ils sont repris sous forme d’extraits. Nous avons notamment :
- ajouté davantage de contexte autour de certaines affirmations,
- réduit les formulations trop générales ou absolues,
- revu des contenus où les chiffres, les exceptions ou les conditions jouent un rôle important.
Ce que cette expérience nous apprend sur la communication juridique
Les problèmes mis en lumière par l’IA existaient souvent déjà, au moins en partie, pour les humains. Si une phrase peut être mal interprétée par une machine, elle mérite parfois aussi d’être clarifiée pour les personnes. Bien sûr, les humains disposent d’un meilleur jugement contextuel, mais ils ne lisent pas toujours un texte dans son intégralité.
Sous cet angle, l’IA devient une alliée permettant de repérer les zones où nos contenus peuvent gagner en clarté.
Traditionnellement, un bon contenu juridique devait être exact, accessible, clair et utile. Une nouvelle exigence s’ajoute progressivement à cette liste : demeurer fiable lorsqu’il est extrait, résumé ou réutilisé dans un environnement numérique.
Nous continuons d’écrire avant tout pour les personnes. Mais puisque les agents conversationnels sont désormais une porte d’entrée vers l’information juridique, nous devons aussi tenir compte de leur présence. Ils nous offrent une nouvelle façon d’évaluer la clarté et la robustesse de nos contenus.
Au final, l’objectif reste le même : aider le public à accéder à une information juridique claire, nuancée et fidèle à son sens, peu importe la façon dont elle circule.
* Ce contenu a été conçu par l’équipe d’Éducaloi, enrichi et structuré avec l’aide de l’intelligence artificielle, puis révisé et validé par l’équipe d’Éducaloi.
Laisser un commentaire