Ce que le MIT a prouvé sur l'IA et votre productivité

En 2023, deux chercheurs du MIT ont mesuré l'effet de l'IA sur la productivité dans des conditions expérimentales, avec une évaluation à l'aveugle par des pairs.

Le résultat est une expérience cadrée et objectivée sur 444 professionnels actifs.

Le protocole

Les participants — marketeurs, consultants, analystes de données, professionnels RH, managers — ont réalisé deux tâches d'écriture représentatives de leur travail quotidien : rédaction de communiqués de presse, de rapports courts, de plans d'analyse et d'e-mails délicats.

La moitié du groupe a eu accès à ChatGPT pour la deuxième tâche. L'autre non. Les livrables ont ensuite été évalués par des professionnels expérimentés du même secteur, qui ignoraient quelle version avait été produite avec ou sans IA. Chaque livrable a été noté par trois évaluateurs indépendants sur des critères de qualité rédactionnelle, de contenu et d'originalité.

Les résultats bruts

Le temps consacré à la tâche réalisée avec l'IA a baissé de 10 minutes en moyenne, soit 37% de moins que le groupe de contrôle, qui passait en moyenne 27 minutes sur l'exercice.

La qualité des livrables du groupe avec IA est supérieure de 0,45 écart-type à celle du groupe sans IA, à tâche équivalente. Cette amélioration s'observe sur tous les sous-critères : qualité de l'écriture, pertinence du contenu, originalité.

Ces gains ne sont pas concentrés sur un profil de participant particulier. L'ensemble de la distribution de qualité s'est déplacée vers le haut..

La redistribution : le résultat le plus structurant

Ce que l'étude révèle de plus important pour les organisations n'est pas le gain moyen mais la compression des inégalités de productivité.

Au sein du groupe ayant eu accès à ChatGPT, les chercheurs ont comparé le score de chaque individu à la tâche 1 (son niveau de base, sans IA) à son score à la tâche 2 (avec IA). La corrélation entre ces deux scores tombe de 0,49 à 0,25 : le niveau initial prédit beaucoup moins bien le niveau final quand on utilise l'IA. Les moins performants à la première tâche sont ceux qui ont le plus rattrapé les meilleurs — les écarts de performance se réduisent de moitié.

Les professionnels initialement les moins performants ont le plus progressé. Pas parce qu'ils ont développé des compétences nouvelles, mais parce que ChatGPT compense précisément les difficultés d'exécution écrite : la formulation d'un premier jet, la mise en forme des idées, la structuration du contenu.

Substitution, pas complémentarité

L'étude tranche une question souvent débattue dans les entreprises : l'IA augmente-t-elle les compétences humaines ou les remplace-t-elle ?

Dans le cadre de ces tâches, la réponse est nette : elle remplace l'effort.

68% des participants du groupe ayant accès à ChatGPT ont soumis directement la sortie générée sans la modifier. En moyenne, ils ont passé seulement 3 minutes à travailler après avoir collé le texte. Les chercheurs n'ont pas observé de corrélation entre le temps passé à retravailler l'output de ChatGPT et la note finale obtenue : l'édition humaine n'a pas amélioré la qualité du livrable.

La structure des tâches a aussi changé : avant l'expérience, les participants passaient environ 25% de leur temps à brainstormer, 50% à rédiger un premier jet et 25% à éditer. Après l'accès à ChatGPT, le temps de rédaction du premier jet a été divisé par plus de deux. Le temps d'édition a plus que doublé.

Le travail intellectuel s'est déplacé de la production vers l'évaluation.

Ce que ça change pour les managers et les dirigeants

Si vous pilotez des équipes qui produisent régulièrement du contenu écrit — offres commerciales, rapports de mission, notes de synthèse, comptes rendus, supports de communication — plusieurs réalités méritent d'être reconsidérées.

Les inégalités de niveau s'atténuent sur ces tâches. Ce n'est pas un problème à gérer, c'est une opportunité : des collaborateurs qui avaient des difficultés d'expression écrite peuvent maintenant produire des livrables d'une qualité comparable à leurs collègues plus à l'aise à l'écrit. La valeur de l'outil se mesure davantage là où les difficultés sont les plus marquées.

La compétence critique se déplace. Ce qui fait la différence n'est plus la capacité à rédiger vite ou bien, mais la capacité à formuler un brief précis et à évaluer critiquement la qualité de l'output produit. Ces deux compétences — formuler et évaluer — ne se forment pas de la même façon et ne s'acquièrent pas naturellement avec l'usage de l'outil.

La satisfaction et le sentiment d'efficacité ont augmenté. Dans le groupe ayant accès à ChatGPT, la satisfaction au travail et le sentiment d'auto-efficacité ont progressé. L'IA n'a pas été vécue comme une menace par ces professionnels : elle a libéré du temps sur les parties les moins valorisées des tâches, en laissant davantage de place à l'idéation et à l'évaluation.

Ce que l'étude ne dit pas

Ces résultats portent sur des tâches d'écriture de niveau intermédiaire, dans des conditions standardisées, pour des professionnels diplômés dans des secteurs précis. Ils ne disent rien sur les tâches complexes impliquant un jugement contextuel fort, une expertise métier pointue ou une relation de confiance construite dans la durée.

L'expérience mesure ce qui est mesurable. Elle ne mesure pas ce que le contenu écrit transmet au-delà de sa qualité formelle : une lecture de la situation, une posture, une lecture du contexte organisationnel.

C'est précisément la limite que soulève un autre chercheur du MIT, Daron Acemoglu, dans une analyse publiée en 2024. Il se pose une question différente : si l'IA améliore réellement la productivité sur ces tâches, qu'est-ce que cela implique pour l'économie dans son ensemble ? Sa réponse est plus prudente que les grandes annonces habituelles.

Source : Noy, S. & Zhang, W. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. MIT Working Paper.