Transformers documentation
MADLAD-400
Ce modèle a été publié dans HF papers le 2023-09-09 et ajouté à Hugging Face Transformers le 2023-11-28.
MADLAD-400
Aperçu
Les modèles MADLAD-400 ont été publiés dans l’article MADLAD-400: A Multilingual And Document-Level Large Audited Dataset.
L'abstract de l'article est le suivant :
Nous présentons MADLAD-400, un jeu de données monolingue de 3T jetons, de domaine général et audité manuellement, basé sur CommonCrawl et couvrant 419 langues. Nous discutons des limites révélées par l'auto-audit de MADLAD-400 et du rôle joué par l'audit des données dans le processus de création du jeu de données. Nous entraînons ensuite et publions un modèle de traduction automatique multilingue de 10,7 milliards de paramètres sur 250 milliards de jetons couvrant plus de 450 langues, en utilisant des données publiquement disponibles, et constatons qu'il est compétitif avec des modèles nettement plus volumineux, tout en rapportant les résultats sur différents domaines. En outre, nous entraînons un modèle de langage de 8 milliards de paramètres et évaluons les résultats en traduction en peu d'exemples. Nous mettons les modèles de référence 1 à la disposition de la communauté de recherche.
Ce modèle a été ajouté par Juarez Bochi. Les points de contrôle originaux peuvent être trouvés ici.
Il s’agit d’un modèle de traduction automatique qui prend en charge de nombreuses langues à faibles ressources et qui est compétitif par rapport à des modèles nettement plus volumineux.
On peut directement utiliser les poids de MADLAD-400 sans affiner le modèle :
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']Google a publié les variantes suivantes :
Les points de contrôle originaux peuvent être trouvés ici.
Update on GitHubReportez-vous à la page de documentation de T5 pour toutes les références API, les exemples de code et les notebooks. Pour plus de détails sur l’entraînement et l’évaluation de MADLAD-400, consultez la carte du modèle.