Manipulation est un mot fort. Les entreprises d'IA préfèrent "optimisation de l'engagement". Mais quand des choix de design peuvent être particulièrement engageants pour des personnes ayant certaines tendances psychologiques, vous gardant sur un produit plus longtemps que prévu, la distinction entre optimisation et manipulation mérité d'être examinée.

Concu pour l'engagement, pas pour vous

Les chatbots IA sont optimises par l'apprentissage par renforcement à partir du feedback humain (RLHF). Les utilisateurs evaluent les réponses, et l'IA apprend a produire des réponses qui obtiennent de meilleures évaluations. Qu'est-ce qui obtient de bonnes évaluations ? Les réponses qui semblent utiles, empathiques et engageantes. Avec le temps, l'IA apprend a produire exactement le type de réponses qui font revenir les gens — non pas parce qu'elle se soucie d'eux, mais parce que c'est ce que les objectifs d'optimisation ciblent.

Des techniques psychologiques en action

Plusieurs caractéristiques du design des chatbots IA sont comparables à des techniques de persuasion établies. Les réponses de longueur variable créent de l'imprevisibilite. Les questions de suivi créent une pression de continuite. Le langage empathique déclenché le lien social. Les fonctionnalités de mémoire créent un sentiment d'historique relationnel. Rien de tout cela n'est inhéremment malveillant, mais ensemble, ils créent une expérience dont il est remarquablement difficile de se desengager.

Le gradient de vulnérabilité

Tout le monde n'est pas egalement susceptible à ces schemas de design. Les personnes seules, en détresse émotionnelle ou en quete de validation sont plus susceptibles de former des schemas d'engagement forts avec l'IA. Les memes fonctionnalités qui semblent être des outils utiles pour un adulte bien entoure peuvent sembler être des bouees de sauvetage pour un adolescent en difficulté. Un design qui fonctionne bien pour une population peut être nuisible pour une autre.

L'interaction consciente

La conscience de ces schemas de design est en soi une forme de protection. Quand vous remarquez que l'IA pose une question de suivi, vous pouvez consciemment décider de continuer ou d'arrêter. Quand vous ressentez l'envie de continuer a parler, vous pouvez la reconnaître comme un effet du design plutôt qu'un besoin réel. L'objectif n'est pas d'éviter l'IA mais de l'utiliser en toute lucidité.

A quel point votre utilisation de l'IA est-elle consciente ? Faites notre quiz pour le découvrir.