Un bilan carbone compensé pour l’IA Llama-3, le LLM open source de Meta !

Lancé en fin de semaine dernière, Llama-3 est disponible en deux versions (voir mon post précédent).

La version 8B est plus légère, avec 8 milliards de paramètres, tandis que la version 70B est plus puissante, avec 70 milliards de paramètres.

Llama-3 a été entraîné sur plus de 15 trillions de tokens (environ 750 milliards de mots) ; données provenant de sources publiques.

Dates des données d’entraînement :
8B : Mars 2023
70B : Décembre 2023 (comme ChatGPT-4, dernière mise à jour)

Puissance de calcul :
l’entraînement des modèles Llama-3 a utilisé un total cumulé de 7,7 millions d’heures GPU de calcul sur du matériel de type NVIDIA H100-80GB (cluster de 24576 GPU).
Les GPU NVIDIA sont des processeurs graphiques optimisés pour les calculs et très utilisés dans les phases d’apprentissage des modèles d’IA.

Empreinte carbone :
Les émissions totales estimées pour l’entraînement de Llama-3 sont de 2 290 tonnes équivalent CO2, dont 100 % ont été compensées par le programme de durabilité de Meta.

En fait, entraîner un modèle de langage comme Llama-3 ou ChatGPT coûte extrêmement cher et nécessite des puissances de calcul hors norme sur des périodes de plusieurs mois. Seules quelques entreprises dans le monde sont en capacité d’entraîner ces modèles.