Ce modèle a été publié dans HF papers le 2023-01-02 et ajouté à Hugging Face Transformers le 2023-03-14.

ConvNeXt V2

Aperçu

Le modèle ConvNeXt V2 a été proposé dans ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders par Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, Saining Xie. ConvNeXt V2 est un modèle purement convolutif (ConvNet), inspiré de la conception des Vision Transformers, et succède à ConvNeXT.

L'abstract de l'article est le suivant :

Porté par des architectures améliorées et de meilleurs cadres d’apprentissage de représentations, le domaine de la reconnaissance visuelle a connu une modernisation rapide et une amélioration notable des performances au début des années 2020. Par exemple, les ConvNets modernes, représentés par ConvNeXt, ont démontré de solides performances dans divers scénarios. Bien que ces modèles aient été initialement conçus pour l’apprentissage supervisé avec les étiquettes ImageNet, ils peuvent également bénéficier potentiellement de techniques d’apprentissage auto-supervisé telles que les auto-encodeurs masqués (MAE). Cependant, nous avons constaté que la simple combinaison de ces deux approches conduit à des performances médiocres. Dans cet article, nous proposons un cadre d’auto-encodeur masqué entièrement convolutif et une nouvelle couche de Normalisation de Réponse Globale (GRN) qui peut être ajoutée à l’architecture ConvNeXt pour renforcer la compétition inter-canaux des caractéristiques. Cette co-conception des techniques d’apprentissage auto-supervisé et de l’amélioration architecturale donne naissance à une nouvelle famille de modèles appelée ConvNeXt V2, qui améliore significativement les performances des ConvNets purs sur divers benchmarks de reconnaissance, y compris la classification ImageNet, la détection COCO et la segmentation ADE20K. Nous fournissons également des modèles ConvNeXt V2 pré-entraînés de différentes tailles, allant d’un modèle Atto efficace de 3,7M de paramètres avec une précision top-1 de 76,7 % sur ImageNet, à un modèle Huge de 650M qui atteint une précision record de 88,9 % en utilisant uniquement des données d’entraînement publiques.

Ce modèle a été contribué par adirik. Le code d'origine peut être trouvé ici.

Ressources

Une liste de ressources officielles Hugging Face et de la communauté (indiquées par 🌎) pour vous aider à démarrer avec ConvNeXt V2.

• ConvNextV2ForImageClassification est pris en charge par ce notebook.

Si vous souhaitez soumettre une ressource pour qu'elle soit incluse ici, n'hésitez pas à ouvrir une Pull Request et nous la examinerons ! La ressource devrait idéalement démontrer quelque chose de nouveau plutôt que de dupliquer une ressource existante.

ConvNextV2Config

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

ConvNextV2ForImageClassification

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...