Une technologie aussi abstraite que l’intelligence artificielle a des effets très concrets en matière d’impact carbone. Plusieurs programmes de recherche tentent de comparer les différents modèles d’apprentissage des algorithmes, avec une question cruciale pour le développement du numérique : faut-il limiter des technologies trop énergivores ?
Demandez à ChatGPT quelle a été l’empreinte carbone des calculs nécessaires à son entraînement et vous obtiendrez cette réponse : « L’estimation de l’empreinte carbone pour l’entraînement de modèles comme GPT-3 était d’environ 284 tonnes de CO2, selon un article de recherche publié par OpenAI. Cela est comparable à l’émission de CO2 de la consommation d’énergie de 5 voitures américaines moyennes tout au long de leur durée de vie. » Certains crieront au scandale énergétique, d’autres minimiseront. Avant de conclure trop vite, il faut revenir à la source du calcul. La plupart des recherches sur l’impact carbone de l’intelligence artificielle (IA) se focalisent sur la phase de l’entraînement, où les algorithmes tournent pendant des jours, des semaines pour apprendre des règles statistiques à partir de jeux de données. Le travail fondateur en la matière est dû à des chercheurs de l’université du Massachusetts à Amherst (États-Unis) en juin 2019. Il portait sur la phase d’apprentissage de quatre modèles de langage : Bert, conçu par Google en 2018, GPT-2 (OpenAI, 2019), Transformer (Google Brain, 2017) et ELMo (Allen Institute for AI, 2018). En entraînant eux-mêmes ces algorithmes pendant une journée et en se reposant sur diverses informations contenues dans les articles consacrés à chacun des modèles, ils ont en effet établi qu’un seul modèle de langage pouvait atteindre l’empreinte carbone de cinq voitures. Mais il ne s’agit que d’estimations basses puisqu’elles ne concernent que les versions finales des algorithmes. Toutes les précédentes, jugées pas assez performantes, ont elles aussi donné lieu à des phases d’entraînement, non comptabilisées ici. Surtout, il s’agit d’informations sur des travaux de recherche datant d’il y a cinq ans, quand la plupart des chercheurs alertent sur une augmentation de la puissance — donc de la consommation énergétique — des modèles.
Très impliquée dans les dimensions éthiques de l’IA, la société américaine Hugging Face a contribué à évaluer les émissions de CO2 du premier grand modèle de langage libre et ouvert, Bloom, dont elle a lancé le développement. Publié en novembre 2022, l’article de recherche arrive au chiffre de 24,69 tonnes d’équivalent CO2 générées par l’entraînement. Mais si on y ajoute la fabrication des équipements informatiques utilisés et le déploiement du programme, le bilan monte à 50,5 tonnes. Soit légèrement plus que les 49,43 tonnes de 60 vols Londres-New York, selon le calculateur en ligne Carbon-Footprint servant de référence aux auteurs. Sachant que pour limiter les émissions, l’algorithme a été entraîné sur le supercalculateur Jean-Zay du CNRS, la France fournissant une électricité essentiellement décarbonée, issue du nucléaire. « La plupart des gens ne se rendent pas compte qu’une technologie aussi abstraite que l’IA a des conséquences physiques, reconnaît Sasha Luccioni, chercheuse chez Hugging Face sur les sujets d’IA et climat. Il y a beaucoup à faire pour éveiller les consciences sur le sujet. » En février, cette Canadienne cosignait une étude concernant le type d’électricité utilisée par divers algorithmes d’apprentissage automatique (traduction automatique, classement d’images, chatbot…). Sur 95 outils, 73 ont été entraînés en utilisant une électricité fabriquée principalement par du charbon, du gaz naturel et du pétrole. En moyenne, les algorithmes qui ont tourné grâce au pétrole et au charbon ont émis respectivement 453,6 et 512,3 g équivalent CO2 par kilowattheure, au lieu d’un peu plus de 100 avec l’hydroélectricité.
Membre du Centre de recherche en informatique, signal et automatique de Lille, Romain Rouvoy a participé à la création d’une application capable d’évaluer le coût énergétique d’un programme informatique, y compris les modèles d’IA. « On constate que dans ses premières itérations, la précision d’un modèle n’est pas toujours optimale mais le coût énergétique est raisonnable, explique le chercheur. Or si on veut augmenter la précision de 10 %, il faut doubler ce qui a été consommé jusque-là. C’est exponentiel à chaque tentative de grappiller des points de précision. » Avec un impact carbone en conséquence selon la source d’énergie utilisée.
Or, si les recherches se multiplient, les méthodologies varient d’une équipe à l’autre, sans aucune standardisation. Les divers résultats comptent beaucoup d’angles morts, et sont la plupart du temps difficilement comparables. Si bien qu’il est impossible de donner les véritables chiffres de l’empreinte carbone de l’IA. « Aujourd’hui, on sait comment déterminer l’empreinte carbone d’un data center, mais on ne sait pas pour l’instant séparer ce qui relève de l’IA du reste au sein de ce data center », confirme Francis Bach, spécialiste d’apprentissage automatique à l’Institut national de recherche en sciences et technologies du numérique (Inria), à Paris. De plus, obtenir les données nécessaires à l’estimation de l’impact carbone d’un algorithme (temps d’apprentissage, nombre de processeurs, localisation des data centers…) ne va pas toujours de soi.
Sans compter que l’entraînement des modèles ne sera, à terme, que la partie émergée de l’iceberg. Selon les chercheurs de Hugging Face, se servir de Bloom sur une journée reviendrait à rouler sur une distance de 87 kilomètres dans une voiture neuve. Cela n’est déjà pas négligeable à l’échelle d’un utilisateur. Qu’en sera-t-il quand des millions d’internautes, d’entreprises, d’institutions utiliseront des dizaines de fois par jour plusieurs grands modèles de langage, sans parler d’autres applications ? « L’IA, ce n’est pas que ChatGPT, complète Francis Bach, nous l’utilisons tous les jours en naviguant sur Internet : les articles que nous lisons et les vidéos que nous regardons en ligne sont en grande partie sélectionnés par des règles d’IA. On reconnaît des images sur le téléphone, on traduit du texte grâce à l’IA. »
Même sans qu’il soit possible de le quantifier précisément, l’IA a ainsi un effet démultiplicateur sur l’impact environnemental du numérique en général. Inria a lancé un programme de recherche sur le sujet, qui comprend entre autres des travaux sur les moyens de réduire cet impact avec de nouvelles méthodes de développement informatique, le calcul du bilan environnemental d’un logiciel avant son développement, etc. « D’autres sujets de recherche commencent à émerger sur la contribution du secteur numérique à l’extraction des métaux, à l’épuisement des ressources naturelles, à la création de stress hydrique dans certaines régions du monde », relève Benjamin Ninassi, adjoint au responsable de ce programme.
L’augmentation des puissances de calcul, des capacités de stockage, le recours au cloud computing — des serveurs distants pour effectuer des calculs ou stocker des données —, qui ont tant contribué à l’essor de l’IA, ne font qu’exacerber ces tendances. « Avant, l’ingénieur informatique devait faire avec des limites technologiques et optimiser son logiciel pour qu’il tourne sur un serveur, rappelle Romain Rouvoy. Aujourd’hui, s’il a un problème de performance, il va demander des ressources supplémentaires à son prestataire en cloud computing au lieu de modifier son programme. Le cloud entretient l’idée qu’il n’y a plus de limites. »
Revenir en arrière risque d’être difficile. Pourtant, les pistes ouvrant à de nouvelles pratiques existent. Comme l’« IA frugale », qui privilégie les données pertinentes sur la masse de données. Ou l’apprentissage fédéré, qui permet d’entraîner des modèles sur divers jeux de données sans avoir à centraliser ces derniers, en les laissant sur leur stockage local. Voire revoir à la baisse les objectifs de précision des algorithmes. « Dans des cas comme le pilotage des voitures autonomes ou des applications médicales, il est inconcevable de ne pas viser la meilleure précision possible, précise Romain Rouvoy. Mais les mêmes types de modèles sont utilisés dans beaucoup d’applications moins critiques où une précision moindre serait tout à fait acceptable. » À l’heure où la perspective d’une IA forte enflamme les imaginations, le vrai avenir réside peut-être dans l’IA sobre.