Une IA peut produire une réponse qui te paraît juste alors qu'elle ne l'est pas. Le texte est bien tourné, bien structuré, bien ponctué, donc tu lui fais confiance. Mais entre une réponse confortable et une réponse fiable, il y a souvent un écart que tu ne vois pas tout de suite. Cet écart, c'est ce qui te fait publier un article avec une fausse statistique, envoyer un email construit sur un argument creux, ou prendre une décision sur un raisonnement qui ne tient pas.
Dans les deux articles précédents de cette série, j'ai parlé du biais de confirmation et de la façon de formuler des prompts honnêtes pour limiter ce biais. Cette fois, on prend le problème par l'autre bout : une fois que la réponse est là, comment savoir si elle tient ? La question est moins glamour mais plus utile au quotidien, surtout quand tu utilises l'IA pour rédiger, structurer ou décider.
4 signaux à repérer, et un prompt que je garde sous la main pour vérifier rapidement.
Sommaire
- Une mauvaise réponse n'est pas seulement une réponse fausse
- La source qui n'existe pas
- La certitude qui ne nuance jamais
- La réponse qui te ressemble trop
- La réponse trop générique
- Le prompt que je garde pour vérifier
Une mauvaise réponse n'est pas seulement une réponse fausse
Dans la vie courante, on pense qu'une mauvaise réponse, c'est une réponse fausse. Avec une IA, le périmètre est plus large.
Une mauvaise réponse, ça peut être une invention pure mais plausible, une donnée fabriquée car l'IA perd le fil de la conversation, une référence qui n'existe pas. Ça peut aussi être une réponse vraie mais creuse, qui ne t'aide pas à décider parce qu'elle reste générique. Une réponse flatteuse fait partie du même problème, elle valide ce que tu pensais déjà sans rien y ajouter. Et puis il y a la réponse trop confiante sur un sujet où la confiance n'est pas justifiée.
Le point commun de toutes ces formes, c'est que tu n'as pas progressé après les avoir lues. Tu en sors avec l'impression d'avoir reçu de la valeur, et tu repars en réutilisant ce que l'IA t'a écrit dans un article, un email, une décision. C'est là que le coût apparaît, parfois bien plus tard.
Fassi De Souza
Sur le même sujet
Les 4 signaux qui suivent sont les plus fréquents dans mon usage quotidien. Aucun d'entre eux n'est compliqué à repérer. Le seul effort, c'est de prendre le temps de regarder.
La source qui n'existe pas
Dès qu'une IA cite un nom, un livre, une étude, un chiffre précis, tu dois vérifier. C'est devenu un réflexe pour moi.
L'IA est capable de te dire avec aplomb qu'une étude de Harvard de 2019 a démontré tel mécanisme, alors que cette étude n'existe pas. Elle peut t'attribuer une citation à Steve Jobs qu'il n'a jamais prononcée. Elle peut citer un livre dont l'auteur n'a jamais écrit un seul mot. Sur des sujets pointus que je connais bien, comme l'histoire de certaines techniques de tricot ou des données précises sur le marché du knitwear premium, j'ai vu passer des références complètement inventées, présentées avec la même assurance qu'un vrai fait.
Le problème, c'est que la formulation est crédible. La référence est plausible. Et l'IA n'a aucun moyen interne de te signaler « cette source est fragile, vérifie ». Elle te livre la phrase comme si c'était un fait acquis.
Mon test, à chaque fois qu'une réponse contient un nom propre, un titre d'ouvrage, un pourcentage, une date précise, je fais une recherche rapide. Trois fois sur dix, la source ne tient pas.
La certitude qui ne nuance jamais
Sur les sujets complexes, une réponse sans nuance est un signal d'alerte. Pour mon activité, ça arrive souvent quand je pose une question sur le pricing, la fidélisation client ou le positionnement.
Si je demande « quel est le bon prix pour un cardigan fait main », et que l'IA me répond avec une fourchette précise sans poser de question en retour, sans mentionner les conditions, sans nuancer selon le matériau, le marché ou la marque, c'est un signal. Le pricing dépend de trop de facteurs pour qu'une réponse à dix lignes soit suffisante.
Fassi De Souza
Sur le même sujet
Une bonne réponse sur un sujet complexe doit contenir des « ça dépend de », des conditions, des contre-exemples. Quand tout est affirmatif, fluide, sans aspérité, c'est souvent que la réponse a été lissée pour être agréable à lire, pas pour t'aider à décider.
Le contre-test, quand une réponse paraît trop nette, demande directement à l'IA de lister les conditions sous lesquelles sa réponse tient, et les cas où elle s'effondrerait. Ce qu'elle te rendra alors est presque toujours plus utile que la réponse initiale.
Une réponse qui te ressemble trop
C'est la suite logique de l'article sur le biais de confirmation. Si tu poses une question en formulant déjà la réponse que tu attends, l'IA va te la rendre presque telle quelle, dans un emballage légèrement différent.
Exemple. Je demande « est-ce que je devrais arrêter Instagram pour LeGarage Knitwear ? ». Si l'IA me répond « oui, Instagram demande un effort que tu peux concentrer ailleurs, surtout pour une marque artisanale premium », j'ai surtout reçu en retour ce que ma question contenait déjà. La réponse n'a pas vraiment été pesée, elle a été reformulée.
Le test, avant de prendre une réponse au sérieux, je relis ma question. Si la réponse est juste un miroir un peu mieux écrit, je reformule en posant la question dans l'autre sens, ou en demandant à l'IA de défendre la position opposée avec ses meilleurs arguments. C'est souvent là que la vraie matière apparaît, parce que l'IA est obligée de produire un raisonnement qu'elle n'aurait pas produit spontanément.
Fassi De Souza
Sur le même sujet
La réponse trop générique
Une réponse générique est une réponse qui pourrait être donnée à n'importe qui. Elle ne tient compte ni de ton activité, ni de ton historique, ni des contraintes que tu as mentionnées. Elle s'applique à tout, donc elle ne s'applique vraiment à rien.
Exemple typique, « pour développer ta marque, sois constante, raconte ton histoire, engage ta communauté, propose de la valeur. » Chacune de ces phrases est vraie dans l'absolu. Aucune n'est utilisable telle quelle.
Le signal, si tu remplaces le nom de ton activité par un autre dans la réponse, et que la réponse fonctionne toujours, c'est que la réponse est générique. Une bonne réponse doit contenir au moins une chose qui, si on la transposait à une autre activité, paraîtrait incongrue. C'est précisément cette aspérité qui rend la réponse exploitable, parce qu'elle prouve que ta situation a été regardée, pas seulement traitée comme un cas-type.
Le prompt que je garde pour vérifier
Plutôt que de relire chaque réponse en chassant les quatre signaux à la main, j'ai un prompt court que je colle quand j'ai un doute. Il demande à l'IA de challenger ce qu'elle vient de produire.
Relis ta réponse précédente avec un regard critique. Identifie : 1. Les affirmations qui contiennent une source nommée, un chiffre ou une date que je devrais vérifier 2. Les affirmations présentées comme certaines alors qu'elles dépendent de conditions 3. Les passages qui reformulent ma question au lieu de la traiter 4. Les phrases si générales qu'elles s'appliqueraient à n'importe quelle activité Pour chaque point trouvé, indique où c'est dans la réponse, pourquoi c'est un problème, et comment tu reformulerais en étant plus juste.
Ce prompt n'apporte pas de correction automatique, il oblige simplement l'IA à se regarder elle-même. Tu reçois en retour une grille de lecture sur sa propre réponse, qui te permet d'identifier vite les passages à creuser et ceux à jeter.
L'idée n'est pas de devenir méfiante en permanence, mais de garder en tête que la fluidité d'une réponse n'est pas un indicateur de fiabilité. Une IA est très bonne pour produire un texte qui sonne juste, beaucoup moins bonne pour reconnaître ses propres trous.
Si tu utilises l'IA dans ton activité de créatrice, ces signaux et ce prompt te font gagner du temps en aval, parce que tu publies, factures et décides à partir d'un matériau plus solide. Pour structurer le reste de ton activité, j'ai construit Le Guide en 7 étapes à partir de ce que j'ai appris en tenant LeGarage Knitwear depuis 2018.
Fassi De Souza
