Affichage des émissions de carbone de votre modèle

Pourquoi est-il bénéfique de calculer les émissions de carbone de mon modèle ?

L’entraînement de modèles d’apprentissage automatique est souvent énergivore et peut générer une empreinte carbone importante, comme le décrivent Strubell et al.. Il est donc essentiel de suivre et de rapporter les émissions des modèles afin de mieux comprendre les impacts environnementaux de notre domaine.

Quelles informations dois-je inclure concernant l'empreinte carbone de mon modèle ?

Si possible, vous devriez inclure des informations sur :

• où le modèle a été entraîné (en termes de localisation)
• le matériel utilisé — par exemple, GPU, TPU ou CPU, et leur nombre
• type d'entraînement : pré-entraînement ou fine-tuning
• l’empreinte carbone estimée du modèle, calculée en temps réel avec le package Code Carbon ou après l’entraînement à l’aide du ML CO2 Calculator.

Métadonnées d'empreinte carbone

Vous pouvez ajouter les données d'empreinte carbone aux métadonnées de la carte du modèle (dans le fichier README.md). La structure des métadonnées doit être :

---
co2_eq_emissions:
  emissions: number (in grams of CO2)
  source: "source of the information, either directly from AutoTrain, code carbon or from a scientific article documenting the model"
  training_type: "pre-training or fine-tuning"
  geographical_location: "as granular as possible, for instance Quebec, Canada or Brooklyn, NY, USA. To check your compute's electricity grid, you can check out https://app.electricitymap.org."
  hardware_used: "how much compute and what kind, e.g. 8 v100 GPUs"
---

Comment la empreinte carbone de mon modèle est-elle calculée ? 🌎

En tenant compte du matériel de calcul, de l'emplacement, de l'utilisation et du temps d'entraînement, vous pouvez estimer la quantité de CO₂ produite par le modèle.

Le calcul est assez simple ! ➕

Premièrement, vous prenez l'intensité carbone du réseau électrique utilisé pour l’entraînement — c’est la quantité de CO₂ produite par kWh d’électricité consommée. L’intensité carbone dépend de l’emplacement du matériel et du mix énergétique utilisé à cet endroit — qu’il s’agisse d’énergies renouvelables comme le solaire 🌞, l’éolien 🌬️ et l’hydroélectricité 💧, ou d’énergies non renouvelables comme le charbon ⚫ et le gaz naturel 💨. Plus l’énergie renouvelable est utilisée pour l’entraînement, moins celui-ci est intensif en carbone !

Ensuite, vous mesurez la consommation électrique des GPU pendant l'entraînement à l'aide de la bibliothèque pynvml.

Enfin, vous multipliez la consommation d'énergie et l'intensité carbone par le temps d'entraînement du modèle, et vous obtenez une estimation des émissions de CO₂.

Gardez à l’esprit qu’il ne s’agit pas d’un chiffre exact, car d’autres facteurs entrent en jeu — comme l’énergie utilisée pour le chauffage et la climatisation des centres de données — ce qui augmente les émissions de carbone. Mais cela vous donnera une bonne idée de l’ampleur des émissions de CO₂ produites par votre modèle !

Pour ajouter les métadonnées Carbon Emissions à vos modèles :

1. Si vous utilisez AutoTrain, cela est suivi pour vous 🔥
2. Sinon, utilisez un traceur comme Code Carbon dans votre code d’entraînement, puis spécifiez

co2_eq_emissions: 
  emissions: 1.2345

dans les métadonnées de votre carte de modèle, où 1.2345 est la valeur des émissions en grammes.

Pour en savoir plus sur l'empreinte carbone de Transformers, regardez la vidéo, qui fait partie du cours Hugging Face !