# OneFormer

## Обзор

Модель OneFormer была предложена в статье [OneFormer: One Transformer to Rule Universal Image Segmentation](https://huggingface.co/papers/2211.06220) авторами Jitesh Jain, Jiachen Li, MangTik Chiu, Ali Hassani, Nikita Orlov, Humphrey Shi. OneFormer — это универсальный фреймворк сегментации изображений, который может быть обучен на едином паноптическом наборе данных для выполнения задач семантической, инстантной и паноптической сегментации. OneFormer использует task token для настройки модели на текущую задачу, что делает архитектуру task-guided на этапе обучения и task-dynamic на этапе инференса.

Аннотация из статьи следующая:

*Универсальная сегментация изображений — не новая концепция. Предыдущие попытки объединить сегментацию изображений за последние десятилетия включают анализ сцен, паноптическую сегментацию и, более recently, новые паноптические архитектуры. Однако такие паноптические архитектуры не являются по-настоящему универсальными, поскольку для достижения наилучших результатов их необходимо обучать отдельно на задачах семантической, инстантной или паноптической сегментации. В идеале по-настоящему универсальная система должна обучаться только один раз и достигать SOTA-результатов во всех трёх задачах сегментации изображений. В этой связи мы предлагаем OneFormer — универсальную систему сегментации изображений, которая объединяет сегментацию с многозадачным подходом «обучи один раз». Во-первых, мы предлагаем стратегию совместного обучения с учётом задачи, которая позволяет обучаться на эталонных данных каждой области (семантическая, инстантная и паноптическая сегментация) в рамках единого многозадачного процесса обучения. Во-вторых, мы вводим токен задачи для настройки модели на текущую задачу, что делает нашу модель динамичной по отношению к задаче и поддерживает многозадачное обучение и инференс. В-третьих, мы предлагаем использовать контрастный loss между запросами и текстом во время обучения для лучшего различения между задачами и классами. Примечательно, что наша единственная модель OneFormer превосходит специализированные модели Mask2Former во всех трёх задачах сегментации на ADE20k, CityScapes и COCO, несмотря на то, что последние обучались на каждой из трёх задач отдельно с использованием в три раза больших ресурсов. С новыми бэкбонами ConvNeXt и DiNAT мы наблюдаем ещё больший прирост производительности. Мы считаем, что OneFormer — значимый шаг к тому, чтобы сделать сегментацию изображений более универсальной и доступной.*

На рисунке ниже представлена архитектура OneFormer. Источник — [оригинальная статья](https://huggingface.co/papers/2211.06220).

Эта модель была предоставлена [Jitesh Jain](https://huggingface.co/praeclarumjj3). Исходный код можно найти [здесь](https://github.com/SHI-Labs/OneFormer).

## Советы по использованию

- OneFormer требует два входных параметра при инференсе: *изображение* и *токен задачи*.
- Во время обучения OneFormer использует только паноптические аннотации.
- Если вы хотите обучать модель в распределённой среде на нескольких узлах, необходимо обновить функцию `get_num_masks` внутри класса `OneFormerLoss` в файле `modeling_oneformer.py`. При обучении на нескольких узлах это значение должно быть установлено как среднее количество целевых масок по всем узлам, как показано в исходной реализации [здесь](https://github.com/SHI-Labs/OneFormer/blob/33ebb56ed34f970a30ae103e786c0cb64c653d9a/oneformer/modeling/criterion.py#L287).
- Можно использовать [OneFormerProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerProcessor) для подготовки входных изображений и входных данных задачи для модели, а также необязательных целевых значений. [OneFormerProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerProcessor) объединяет [OneFormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor) и [CLIPTokenizer](/docs/transformers/v5.23.0/ru/model_doc/clip#transformers.CLIPTokenizer) в единый экземпляр, чтобы одновременно подготовить изображения и закодировать входные данные задачи.
- Чтобы получить итоговую сегментацию, в зависимости от задачи можно вызвать `post_process_semantic_segmentation()` или [post_process_instance_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor.post_process_instance_segmentation) или [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor.post_process_panoptic_segmentation). Все три задачи решаются с помощью вывода [OneFormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerForUniversalSegmentation); паноптическая сегментация принимает необязательный аргумент `label_ids_to_fuse` для объединения инстансов целевого объекта/объектов (например, неба).

## Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с OneFormer.

- Демо-ноутбуки по инференсу и дообучению на собственных данных можно найти [здесь](https://github.com/NielsRogge/Transformers-Tutorials/tree/master/OneFormer).

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим. В идеале ресурс должен демонстрировать что-то новое, а не дублировать существующие материалы.

## Специфические для OneFormer выходные данные[[transformers.models.oneformer.modeling_oneformer.OneFormerModelOutput]]

#### transformers.models.oneformer.modeling_oneformer.OneFormerModelOutput[[transformers.models.oneformer.modeling_oneformer.OneFormerModelOutput]]

```python
transformers.models.oneformer.modeling_oneformer.OneFormerModelOutput(encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_hidden_states: typing.Optional[torch.Tensor] = None, transformer_decoder_object_queries: typing.Optional[torch.Tensor] = None, transformer_decoder_contrastive_queries: typing.Optional[torch.Tensor] = None, transformer_decoder_mask_predictions: typing.Optional[torch.Tensor] = None, transformer_decoder_class_predictions: typing.Optional[torch.Tensor] = None, transformer_decoder_auxiliary_predictions: tuple[dict[str, torch.Tensor]] | None = None, text_queries: typing.Optional[torch.Tensor] = None, task_token: typing.Optional[torch.Tensor] = None, attentions: tuple[torch.Tensor] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/modeling_oneformer.py#L829)

**Параметры:**

encoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.

transformer_decoder_object_queries (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) : Выходные объектные запросы из последнего слоя декодера трансформера.

transformer_decoder_contrastive_queries (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) : Контрастные запросы из декодера трансформера.

transformer_decoder_mask_predictions (`torch.Tensor` формы `(batch_size, num_queries, height, width)`) : Прогнозы масок из последнего слоя декодера трансформера.

transformer_decoder_class_predictions (`torch.Tensor` формы `(batch_size, num_queries, num_classes+1)`) : Прогнозы классов из последнего слоя декодера трансформера.

transformer_decoder_auxiliary_predictions (`Tuple` из Dict `str, torch.Tensor`, *необязательный*) : Кортеж предсказаний классов и масок из каждого слоя декодера трансформера.

text_queries (`torch.Tensor`, *необязательный* с формой `(batch_size, num_queries, hidden_dim)`) : Текстовые запросы, полученные из входного списка текстов и используемые для вычисления контрастивной функции потерь во время обучения.

task_token (`torch.Tensor` формы `(batch_size, hidden_dim)`) : одномерный токен задачи для обусловливания запросов.

attentions (`tuple(tuple(torch.Tensor))`, *необязательный*, возвращается, если передано `output_attentions=True` или если `config.output_attentions=True`) : Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса Self и Cross Attention из декодера трансформера.

Класс для выходов [OneFormerModel](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerModel). Этот класс возвращает все необходимые скрытые состояния для вычисления логитов.

#### transformers.models.oneformer.modeling_oneformer.OneFormerForUniversalSegmentationOutput[[transformers.models.oneformer.modeling_oneformer.OneFormerForUniversalSegmentationOutput]]

```python
transformers.models.oneformer.modeling_oneformer.OneFormerForUniversalSegmentationOutput(loss: typing.Optional[torch.Tensor] = None, class_queries_logits: typing.Optional[torch.Tensor] = None, masks_queries_logits: typing.Optional[torch.Tensor] = None, auxiliary_predictions: list[dict[str, torch.Tensor]] = None, encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: list[torch.Tensor] | None = None, transformer_decoder_hidden_states: typing.Optional[torch.Tensor] = None, transformer_decoder_object_queries: typing.Optional[torch.Tensor] = None, transformer_decoder_contrastive_queries: typing.Optional[torch.Tensor] = None, transformer_decoder_mask_predictions: typing.Optional[torch.Tensor] = None, transformer_decoder_class_predictions: typing.Optional[torch.Tensor] = None, transformer_decoder_auxiliary_predictions: list[dict[str, torch.Tensor]] | None = None, text_queries: typing.Optional[torch.Tensor] = None, task_token: typing.Optional[torch.Tensor] = None, attentions: tuple[tuple[torch.Tensor]] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/modeling_oneformer.py#L886)

**Параметры:**

loss (`torch.Tensor`, *необязательный*) : Вычисленная функция потерь, возвращается при наличии меток.

class_queries_logits (`torch.Tensor`, *необязательный*) : тензор формы `(batch_size, num_queries, num_labels + 1)`, представляющий предложенные классы для каждого запроса. Обратите внимание, что `+ 1` необходимо, так как мы учитываем нулевой класс.

masks_queries_logits (`torch.Tensor`, *необязательный*) : тензор формы `(batch_size, num_queries, height, width)`, представляющий предложенные маски для каждого запроса.

auxiliary_predictions (`List` из Dict `str, torch.Tensor`, *optional*) : Список предсказаний классов и масок из каждого слоя декодера трансформера.

encoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) : Кортеж из `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.

transformer_decoder_object_queries (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) : Выходные объектные запросы из последнего слоя декодера трансформера.

transformer_decoder_contrastive_queries (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) : Контрастные запросы из декодера трансформера.

transformer_decoder_mask_predictions (`torch.Tensor` формы `(batch_size, num_queries, height, width)`) : Прогнозы масок из последнего слоя декодера трансформера.

transformer_decoder_class_predictions (`torch.Tensor` формы `(batch_size, num_queries, num_classes+1)`) : Прогнозы классов из последнего слоя декодера трансформера.

transformer_decoder_auxiliary_predictions (`List` из Dict `str, torch.Tensor`, *optional*) : Список предсказаний классов и масок из каждого слоя декодера трансформера.

text_queries (`torch.Tensor`, *необязательный* с формой `(batch_size, num_queries, hidden_dim)`) : Текстовые запросы, полученные из входного списка текстов и используемые для вычисления контрастивной функции потерь во время обучения.

task_token (`torch.Tensor` формы `(batch_size, hidden_dim)`) : одномерный токен задачи для обусловливания запросов.

attentions (`tuple(tuple(torch.Tensor))`, *необязательный*, возвращается, если передано `output_attentions=True` или если `config.output_attentions=True`) : Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса Self и Cross Attention из декодера трансформера.

Класс для результатов `OneFormerForUniversalSegmentationOutput`.

Этот вывод можно непосредственно передать в [post_process_semantic_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor.post_process_semantic_segmentation) или [post_process_instance_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor.post_process_instance_segmentation) или [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor.post_process_panoptic_segmentation) в зависимости от задачи. Подробности об использовании см. в [`~OneFormerImageProcessor].

## OneFormerConfig[[transformers.OneFormerConfig]]

#### transformers.OneFormerConfig[[transformers.OneFormerConfig]]

```python
transformers.OneFormerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, ignore_value: int = 255, num_queries: int = 150, no_object_weight: float = 0.1, class_weight: float = 2.0, mask_weight: float = 5.0, dice_weight: float = 5.0, contrastive_weight: float = 0.5, contrastive_temperature: float = 0.07, train_num_points: int = 12544, oversample_ratio: float = 3.0, importance_sample_ratio: float = 0.75, init_std: float = 0.02, init_xavier_std: float = 1.0, layer_norm_eps: float = 1e-05, is_training: bool = False, use_auxiliary_loss: bool = True, output_auxiliary_logits: bool = True, strides: list[int] | tuple[int, ...] = (4, 8, 16, 32), task_seq_len: int = 77, text_encoder_width: int = 256, text_encoder_context_length: int = 77, text_encoder_num_layers: int = 6, text_encoder_vocab_size: int = 49408, text_encoder_proj_layers: int = 2, text_encoder_n_ctx: int = 16, conv_dim: int = 256, mask_dim: int = 256, hidden_dim: int = 256, encoder_feedforward_dim: int = 1024, norm: str = 'GN', encoder_layers: int = 6, decoder_layers: int = 10, use_task_norm: bool = True, num_attention_heads: int = 8, dropout: float | int = 0.1, dim_feedforward: int = 2048, pre_norm: bool = False, enforce_input_proj: bool = False, query_dec_layers: int = 2, common_stride: int = 4)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/configuration_oneformer.py#L25)

**Параметры:**

backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *необязательный*) : Конфигурация базовой модели.

ignore_value (`int`, *optional*, по умолчанию 255) : Значения, которые игнорируются в метках GT при вычислении функции потерь.

num_queries (`int`, *optional*, по умолчанию 150) : Количество запросов объектов.

no_object_weight (`float`, *необязательный*, по умолчанию `0.1`) : Относительный вес класса «нет объекта» в функции потерь обнаружения объектов.

class_weight (`float`, *необязательный*, по умолчанию `2.0`) : Относительный вес ошибки классификации в стоимости венгерского сопоставления.

mask_weight (`float`, *необязательный*, по умолчанию `5.0`) : Относительный вес фокальной функции потерь в функции потерь паноптической сегментации.

dice_weight (`float`, *необязательный*, по умолчанию `5.0`) : Относительный вес функции потерь dice в функции потерь паноптической сегментации.

contrastive_weight (`float`, *необязательный*, по умолчанию 0.5) : Вес для контрастивной функции потерь.

contrastive_temperature (`float`, *необязательный*, по умолчанию 0.07) : Начальное значение для масштабирования контрастивных логитов.

train_num_points (`int`, *optional*, по умолчанию 12544) : Количество точек для выборки при вычислении потерь на предсказаниях маски.

oversample_ratio (`float`, *необязательный*, по умолчанию 3.0) : Коэффициент, определяющий, сколько точек нужно оверсэмплировать.

importance_sample_ratio (`float`, *optional*, по умолчанию 0.75) : Доля точек, выборка которых выполняется с помощью importance sampling.

init_std (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

init_xavier_std (`float`, *необязательный*, по умолчанию `1.0`) : Коэффициент масштабирования, используемый для инициализации кросс-внимания по методу Ксавье.

layer_norm_eps (`float`, *необязательный*, по умолчанию `1e-05`) : Значение epsilon, используемое слоями нормализации.

is_training (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли работать в режиме обучения или вывода.

use_auxiliary_loss (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли вычислять потерю с использованием промежуточных предсказаний декодера трансформера.

output_auxiliary_logits (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли возвращать промежуточные предсказания из декодера трансформера.

strides (`list`, *необязательный*, по умолчанию `[4, 8, 16, 32]`) : Список, содержащий шаги (strides) для карт признаков в кодировщике.

task_seq_len (`int`, *optional*, по умолчанию 77) : Длина последовательности для токенизации входного списка текста.

text_encoder_width (`int`, *необязательный*, по умолчанию 256) : Размер скрытого слоя для текстового энкодера.

text_encoder_context_length (`int`, *optional*, по умолчанию 77) : Длина входной последовательности для текстового энкодера.

text_encoder_num_layers (`int`, *optional*, по умолчанию 6) : Количество слоев трансформера в текстовом кодировщике.

text_encoder_vocab_size (`int`, *optional*, по умолчанию 49408) : Размер словаря для токенизатора.

text_encoder_proj_layers (`int`, *optional*, по умолчанию 2) : Количество слоев в MLP для проекции текстовых запросов.

text_encoder_n_ctx (`int`, *optional*, по умолчанию 16) : Количество обучаемых запросов текстового контекста.

conv_dim (`int`, *необязательный*, по умолчанию 256) : Размерность карты признаков для отображения выходов из backbone.

mask_dim (`int`, *optional*, по умолчанию 256) : Размерность для карт признаков в пиксельном декодере.

hidden_dim (`int`, *optional*, по умолчанию 256) : Размерность скрытых состояний в декодере трансформера.

encoder_feedforward_dim (`int`, *optional*, по умолчанию 1024) : Размерность слоя FFN в пиксельном декодере.

norm (`str`, *необязательный*, по умолчанию `"GN"`) : Тип нормализации.

encoder_layers (`int`, *необязательный*, по умолчанию `6`) : Количество скрытых слоев в кодере Transformer. Если не задано, будет использовано то же значение, что и у `num_layers`.

decoder_layers (`int`, *необязательный*, по умолчанию `10`) : Количество скрытых слоев в декодере Transformer. Если не задано, будет использовано то же значение, что и у `num_layers`.

use_task_norm (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли нормализовать токен задачи.

num_attention_heads (`int`, *необязательный*, по умолчанию `8`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Доля для всех слоёв dropout.

dim_feedforward (`int`, *optional*, по умолчанию 2048) : Размерность слоя FFN в декодере трансформера.

pre_norm (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли нормализовать скрытые состояния перед слоями внимания в декодере трансформера.

enforce_input_proj (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли проецировать скрытые состояния в декодере трансформера.

query_dec_layers (`int`, *необязательный*, по умолчанию 2) : Количество слоев в query-трансформере.

common_stride (`int`, *optional*, по умолчанию 4) : Общий шаг (stride), используемый для признаков в пиксельном декодере.

Это класс конфигурации для хранения настроек модели OneFormerModel. Он используется для создания модели Oneformer в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [shi-labs/oneformer_ade20k_swin_tiny](https://huggingface.co/shi-labs/oneformer_ade20k_swin_tiny)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Примеры:
```python
>>> from transformers import OneFormerConfig, OneFormerModel

>>> # Initializing a OneFormer shi-labs/oneformer_ade20k_swin_tiny configuration
>>> configuration = OneFormerConfig()
>>> # Initializing a model (with random weights) from the shi-labs/oneformer_ade20k_swin_tiny style configuration
>>> model = OneFormerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
```

## OneFormerImageProcessor[[transformers.OneFormerImageProcessor]]

#### transformers.OneFormerImageProcessor[[transformers.OneFormerImageProcessor]]

```python
transformers.OneFormerImageProcessor(**kwargs: *<class 'transformers.models.oneformer.image_processing_oneformer.OneFormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_oneformer.py#L275)

**Параметры:**

do_convert_rgb (`bool`, *kwargs*, *необязательный*, по умолчанию `True`) : Преобразовать ли изображение в RGB.

do_resize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли изменять размер изображения.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, по умолчанию `{'shortest_edge' : 800, 'longest_edge': 1333}`): Описывает максимальные размеры входных данных для модели.

default_to_square (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Использовать ли квадратное изображение по умолчанию при изменении размера, если size является int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, по умолчанию `2`) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только если `do_resize` установлено в `True`.

do_rescale (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли масштабировать изображение.

rescale_factor (`float`, *kwargs*, *optional*, по умолчанию `0.00392156862745098`) : Коэффициент масштабирования для изменения масштаба изображения, если `do_rescale` установлен в `True`.

do_normalize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли нормализовать изображение.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.485, 0.456, 0.406]`) : Средние значения изображения, используемые для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.229, 0.224, 0.225]`) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер в формате `{"height": int, "width" int}`, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при `do_pad=True.`

do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров.

disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

repo_path (`str`, *kwargs*, *необязательный*, по умолчанию `shi-labs/oneformer_demo`) : Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.

class_info_file (`str`, *kwargs*, *необязательный*) : Путь к JSON-файлу в репозитории, содержащему метаданные класса.

num_text (`int`, *kwargs*, *optional*) : Количество текстовых запросов для текстового кодировщика, используемых в качестве промптов, задающих задачу.

num_labels (`int`, *kwargs*, *optional*) : Количество семантических классов для сегментации, определяющее размер выходного слоя.

ignore_index (`int`, *kwargs*, *optional*) : Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).

do_reduce_labels (`bool`, *kwargs*, *необязательный*, по умолчанию `False`) : Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с `ignore_index`.

Создаёт процессор изображений OneFormerImageProcessor.

#### preprocess[[transformers.OneFormerImageProcessor.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], task_inputs: list[str] | None = None, segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.oneformer.image_processing_oneformer.OneFormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_oneformer.py#L300)

**Параметры:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Изображение для предобработки. Ожидается одно изображение или пакет изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите `do_rescale=False`.

task_inputs (`list[str]`, *необязательный*) : Список задач (`"panoptic"`, `"instance"`, `"semantic"`) для каждого изображения в батче.

segmentation_maps (`ImageInput`, *необязательный*) : Карты сегментации.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *необязательный*) : Соответствие между идентификаторами экземпляров и семантическими идентификаторами.

do_convert_rgb (`bool`, *kwargs*, *необязательный*) : Преобразовать ли изображение в RGB.

do_resize (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли изменить размер изображения.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Описывает максимальные размеры входных данных для модели.

default_to_square (`bool`, *kwargs*, *необязательный*) : Указывает, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задан как int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только при установке `do_resize` в `True`.

do_rescale (`bool`, *kwargs*, *необязательный*) : Нужно ли масштабировать изображение.

rescale_factor (`float`, *kwargs*, *optional*) : Коэффициент масштабирования для изменения размера изображения, если `do_rescale` установлен в `True`.

do_normalize (`bool`, *kwargs*, *необязательный*) : Нужно ли нормализовать изображение.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер в формате `{"height": int, "width" int}`, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при `do_pad=True.`

do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров.

disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

repo_path (`str`, *kwargs*, *необязательный*, по умолчанию `shi-labs/oneformer_demo`) : Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.

class_info_file (`str`, *kwargs*, *необязательный*) : Путь к JSON-файлу в репозитории, содержащему метаданные класса.

num_text (`int`, *kwargs*, *optional*) : Количество текстовых запросов для текстового кодировщика, используемых в качестве промптов, задающих задачу.

num_labels (`int`, *kwargs*, *optional*) : Количество семантических классов для сегментации, определяющее размер выходного слоя.

ignore_index (`int`, *kwargs*, *optional*) : Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).

do_reduce_labels (`bool`, *kwargs*, *необязательный*, по умолчанию `False`) : Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с `ignore_index`.

**Возвращает:** `~image_processing_base.BatchFeature`

- **data** (`dict`) — Словарь списков/массивов/тензоров, возвращаемый методом __call__ ('pixel_values' и т. д.).
- **tensor_type** (`Union[None, str, TensorType]`, *необязательный*) -- Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

#### post_process_semantic_segmentation[[transformers.OneFormerImageProcessor.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_oneformer.py#L690)

**Параметры:**

outputs ([OneFormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerForUniversalSegmentation)) : Сырые выходные данные модели.

target_sizes (`list[tuple[int, int]]`, *необязательный*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания. Если оставить значение None, предсказания не будут изменены в размере.

return_segmentation_scores (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли возвращать оценки сегментации вместе с картой сегментации. Если `True`, каждый элемент возвращаемого списка представляет собой `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`).

**Возвращает:** `list[torch.Tensor]` или `list[SemanticSegmentationPostProcessorOutput]`

Если `return_segmentation_scores=False` (по умолчанию), возвращается список длины `batch_size`, где каждый элемент — карта сегментации формы `(height, width)` с идентификаторами классов. Если `return_segmentation_scores=True`, возвращается список объектов `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`). В обоих случаях `(height, width)` соответствует целевому размеру (если указан `target_sizes`).

Преобразует выход [OneFormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerForUniversalSegmentation) в карты семантической сегментации. Поддерживается только PyTorch.

#### post_process_instance_segmentation[[transformers.OneFormerImageProcessor.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, task_type: str = 'instance', is_demo: bool = True, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_oneformer.py#L766)

**Параметры:**

outputs (`OneFormerForUniversalSegmentationOutput`) : Выходные данные `OneFormerForUniversalSegmentationOutput`.

task_type (`str`, *optional*, по умолчанию "instance") : Постобработка зависит от входного токена задачи. Если `task_type` равен "panoptic", необходимо игнорировать предсказания для фона.

is_demo (`bool`, *необязательный*, по умолчанию `True`) : Указывает, находится ли модель в демонстрационном режиме. Если значение равно true, для предсказания окончательных масок используется порог.

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

target_sizes (`List[Tuple]`, *optional*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

return_coco_annotation (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли возвращать предсказания в формате COCO.

**Возвращает:** `List[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** — тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, установлен в `None`, если маска не найдена выше `threshold`. Если указано `target_sizes`, сегментация масштабируется до соответствующего элемента `target_sizes`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **was_fused** -- булево значение, `True`, если `label_id` содержалось в `label_ids_to_fuse`, иначе `False`. Несколько экземпляров одного и того же класса / метки были объединены и получили единый `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует выход `OneFormerForUniversalSegmentationOutput` в предсказания сегментации инстансов изображения. Поддерживается только PyTorch.

#### post_process_panoptic_segmentation[[transformers.OneFormerImageProcessor.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_oneformer.py#L886)

**Параметры:**

outputs (`MaskFormerForInstanceSegmentationOutput`) : Выходные данные [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/ru/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation).

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

label_ids_to_fuse (`Set[int]`, *необязательный*) : Все экземпляры меток в этом состоянии будут объединены. Например, можно утверждать, что на изображении может быть только одно небо, но несколько человек, поэтому идентификатор метки «небо» будет включён в этот набор, а идентификатор метки «человек» — нет.

target_sizes (`list[Tuple]`, *необязательный*) : Список длины (batch_size), где каждый элемент списка (`tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

**Возвращает:** `list[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** — тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, установлен в `None`, если маска не найдена выше `threshold`. Если указано `target_sizes`, сегментация масштабируется до соответствующего элемента `target_sizes`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **was_fused** -- булево значение, `True`, если `label_id` содержалось в `label_ids_to_fuse`, иначе `False`. Несколько экземпляров одного и того же класса / метки были объединены и получили единый `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует вывод `MaskFormerForInstanceSegmentationOutput` в предсказания паноптической сегментации изображений. Поддерживается только PyTorch.

## OneFormerImageProcessorPil[[transformers.OneFormerImageProcessorPil]]

#### transformers.OneFormerImageProcessorPil[[transformers.OneFormerImageProcessorPil]]

```python
transformers.OneFormerImageProcessorPil(**kwargs: *<class 'transformers.models.oneformer.image_processing_pil_oneformer.OneFormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_pil_oneformer.py#L293)

**Параметры:**

do_convert_rgb (`bool`, *kwargs*, *необязательный*, по умолчанию `True`) : Преобразовать ли изображение в RGB.

do_resize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли изменять размер изображения.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, по умолчанию `{'shortest_edge' : 800, 'longest_edge': 1333}`): Описывает максимальные размеры входных данных для модели.

default_to_square (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Использовать ли квадратное изображение по умолчанию при изменении размера, если size является int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, по умолчанию `2`) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только если `do_resize` установлено в `True`.

do_rescale (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли масштабировать изображение.

rescale_factor (`float`, *kwargs*, *optional*, по умолчанию `0.00392156862745098`) : Коэффициент масштабирования для изменения масштаба изображения, если `do_rescale` установлен в `True`.

do_normalize (`bool`, *kwargs*, *optional*, по умолчанию `True`) : Нужно ли нормализовать изображение.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.485, 0.456, 0.406]`) : Средние значения изображения, используемые для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, по умолчанию `[0.229, 0.224, 0.225]`) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер в формате `{"height": int, "width" int}`, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при `do_pad=True.`

do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров.

disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

repo_path (`str`, *kwargs*, *необязательный*, по умолчанию `shi-labs/oneformer_demo`) : Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.

class_info_file (`str`, *kwargs*, *необязательный*) : Путь к JSON-файлу в репозитории, содержащему метаданные класса.

num_text (`int`, *kwargs*, *optional*) : Количество текстовых запросов для текстового кодировщика, используемых в качестве промптов, задающих задачу.

num_labels (`int`, *kwargs*, *optional*) : Количество семантических классов для сегментации, определяющее размер выходного слоя.

ignore_index (`int`, *kwargs*, *optional*) : Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).

do_reduce_labels (`bool`, *kwargs*, *необязательный*, по умолчанию `False`) : Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с `ignore_index`.

Создаёт процессор изображений OneFormerImageProcessor.

#### preprocess[[transformers.OneFormerImageProcessorPil.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], task_inputs: list[str] | None = None, segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.oneformer.image_processing_pil_oneformer.OneFormerImageProcessorKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_pil_oneformer.py#L318)

**Параметры:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Изображение для предобработки. Ожидается одно изображение или пакет изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите `do_rescale=False`.

task_inputs (`list[str]`, *необязательный*) : Список задач (`"panoptic"`, `"instance"`, `"semantic"`) для каждого изображения в батче.

segmentation_maps (`ImageInput`, *необязательный*) : Карты сегментации.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *необязательный*) : Соответствие между идентификаторами экземпляров и семантическими идентификаторами.

do_convert_rgb (`bool`, *kwargs*, *необязательный*) : Преобразовать ли изображение в RGB.

do_resize (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли изменить размер изображения.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Описывает максимальные размеры входных данных для модели.

default_to_square (`bool`, *kwargs*, *необязательный*) : Указывает, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задан как int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер выходного изображения после применения `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления `PILImageResampling`. Действует только при установке `do_resize` в `True`.

do_rescale (`bool`, *kwargs*, *необязательный*) : Нужно ли масштабировать изображение.

rescale_factor (`float`, *kwargs*, *optional*) : Коэффициент масштабирования для изменения размера изображения, если `do_rescale` установлен в `True`.

do_normalize (`bool`, *kwargs*, *необязательный*) : Нужно ли нормализовать изображение.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если `do_normalize` установлено в `True`.

do_pad (`bool`, *kwargs*, *необязательный*) : Указывает, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Конкретная стратегия выравнивания зависит от модели.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Размер в формате `{"height": int, "width" int}`, до которого следует дополнить изображения. Должен быть больше любого размера изображения, переданного для предобработки. Если `pad_size` не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при `do_pad=True.`

do_center_crop (`bool`, *kwargs*, *optional*) : Центрировать ли изображение при обрезке.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *необязательный*) : Поддерживается только `ChannelDimension.FIRST`. Добавлено для совместимости с медленными процессорами.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Формат размерности каналов для входного изображения. Если не задано, формат размерности каналов определяется по входному изображению. Может быть одним из: - `"channels_first"` или `ChannelDimension.FIRST`: изображение в формате (num_channels, height, width). - `"channels_last"` или `ChannelDimension.LAST`: изображение в формате (height, width, num_channels). - `"none"` или `ChannelDimension.NONE`: изображение в формате (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Устройство для обработки видео. Если не задано, устройство определяется на основе входных видео.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Возвращает стопку тензоров, если установлено значение `'pt'`, иначе возвращает список тензоров.

disable_grouping (`bool`, *kwargs*, *optional*) : Указывает, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *необязательный*) : Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

repo_path (`str`, *kwargs*, *необязательный*, по умолчанию `shi-labs/oneformer_demo`) : Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.

class_info_file (`str`, *kwargs*, *необязательный*) : Путь к JSON-файлу в репозитории, содержащему метаданные класса.

num_text (`int`, *kwargs*, *optional*) : Количество текстовых запросов для текстового кодировщика, используемых в качестве промптов, задающих задачу.

num_labels (`int`, *kwargs*, *optional*) : Количество семантических классов для сегментации, определяющее размер выходного слоя.

ignore_index (`int`, *kwargs*, *optional*) : Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).

do_reduce_labels (`bool`, *kwargs*, *необязательный*, по умолчанию `False`) : Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с `ignore_index`.

**Возвращает:** `~image_processing_base.BatchFeature`

- **data** (`dict`) — Словарь списков/массивов/тензоров, возвращаемый методом __call__ ('pixel_values' и т. д.).
- **tensor_type** (`Union[None, str, TensorType]`, *необязательный*) -- Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

#### post_process_semantic_segmentation[[transformers.OneFormerImageProcessorPil.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_pil_oneformer.py#L746)

**Параметры:**

outputs ([OneFormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerForUniversalSegmentation)) : Сырые выходные данные модели.

target_sizes (`list[tuple[int, int]]`, *необязательный*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания. Если оставить значение None, предсказания не будут изменены в размере.

return_segmentation_scores (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли возвращать оценки сегментации вместе с картой сегментации. Если `True`, каждый элемент возвращаемого списка представляет собой `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`).

**Возвращает:** `list[torch.Tensor]` или `list[SemanticSegmentationPostProcessorOutput]`

Если `return_segmentation_scores=False` (по умолчанию), возвращается список длины `batch_size`, где каждый элемент — карта сегментации формы `(height, width)` с идентификаторами классов. Если `return_segmentation_scores=True`, возвращается список объектов `SemanticSegmentationPostProcessorOutput` с полями `segmentation` (идентификаторы классов, форма `(height, width)`) и `segmentation_scores` (форма `(num_classes, height, width)`). В обоих случаях `(height, width)` соответствует целевому размеру (если указан `target_sizes`).

Преобразует выход [OneFormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerForUniversalSegmentation) в карты семантической сегментации. Поддерживается только PyTorch.

#### post_process_instance_segmentation[[transformers.OneFormerImageProcessorPil.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, task_type: str = 'instance', is_demo: bool = True, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_pil_oneformer.py#L820)

**Параметры:**

outputs (`OneFormerForUniversalSegmentationOutput`) : Выходные данные `OneFormerForUniversalSegmentationOutput`.

task_type (`str`, *optional*, по умолчанию "instance") : Постобработка зависит от входного токена задачи. Если `task_type` равен "panoptic", необходимо игнорировать предсказания для фона.

is_demo (`bool`, *необязательный*, по умолчанию `True`) : Указывает, находится ли модель в демонстрационном режиме. Если значение равно true, для предсказания окончательных масок используется порог.

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

target_sizes (`List[Tuple]`, *optional*) : Список длины (batch_size), где каждый элемент списка (`Tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

return_coco_annotation (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли возвращать предсказания в формате COCO.

**Возвращает:** `List[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** — тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, установлен в `None`, если маска не найдена выше `threshold`. Если указано `target_sizes`, сегментация масштабируется до соответствующего элемента `target_sizes`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **was_fused** -- булево значение, `True`, если `label_id` содержалось в `label_ids_to_fuse`, иначе `False`. Несколько экземпляров одного и того же класса / метки были объединены и получили единый `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует выход `OneFormerForUniversalSegmentationOutput` в предсказания сегментации инстансов изображения. Поддерживается только PyTorch.

#### post_process_panoptic_segmentation[[transformers.OneFormerImageProcessorPil.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/image_processing_pil_oneformer.py#L940)

**Параметры:**

outputs (`MaskFormerForInstanceSegmentationOutput`) : Выходные данные [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/ru/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation).

threshold (`float`, *optional*, по умолчанию 0.5) : Порог вероятности для сохранения предсказанных масок экземпляров.

mask_threshold (`float`, *optional*, по умолчанию 0.5) : Порог, используемый при преобразовании предсказанных масок в бинарные значения.

overlap_mask_area_threshold (`float`, *optional*, по умолчанию 0.8) : Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.

label_ids_to_fuse (`Set[int]`, *необязательный*) : Все экземпляры меток в этом состоянии будут объединены. Например, можно утверждать, что на изображении может быть только одно небо, но несколько человек, поэтому идентификатор метки «небо» будет включён в этот набор, а идентификатор метки «человек» — нет.

target_sizes (`list[Tuple]`, *необязательный*) : Список длины (batch_size), где каждый элемент списка (`tuple[int, int]]`) соответствует запрашиваемому конечному размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

**Возвращает:** `list[Dict]`

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:
- **segmentation** — тензор формы `(height, width)`, где каждый пиксель представляет `segment_id`, установлен в `None`, если маска не найдена выше `threshold`. Если указано `target_sizes`, сегментация масштабируется до соответствующего элемента `target_sizes`.
- **segments_info** -- словарь, содержащий дополнительную информацию о каждом сегменте.
  - **id** — целое число, представляющее `segment_id`.
  - **label_id** — целое число, представляющее идентификатор метки / семантического класса, соответствующий `segment_id`.
  - **was_fused** -- булево значение, `True`, если `label_id` содержалось в `label_ids_to_fuse`, иначе `False`. Несколько экземпляров одного и того же класса / метки были объединены и получили единый `segment_id`.
  - **score** -- Оценка предсказания для сегмента с `segment_id`.

Преобразует вывод `MaskFormerForInstanceSegmentationOutput` в предсказания паноптической сегментации изображений. Поддерживается только PyTorch.

## OneFormerProcessor[[transformers.OneFormerProcessor]]

#### transformers.OneFormerProcessor[[transformers.OneFormerProcessor]]

```python
transformers.OneFormerProcessor(image_processor = None, tokenizer = None, max_seq_length: int = 77, task_seq_length: int = 77, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/processing_oneformer.py#L27)

**Параметры:**

image_processor (`OneFormerImageProcessor`) : процессор изображений является обязательным входным параметром.

tokenizer (`CLIPTokenizer`) : Токенизатор является обязательным входным параметром.

max_seq_length (`int`, *optional*, по умолчанию `77`) : Максимальная длина последовательности для кодирования имён классов и текстовых входных данных. Этот параметр управляет максимальным количеством токенов, используемых при токенизации имён классов и других текстовых входных данных для модели.

task_seq_length (`int`, *optional*, по умолчанию `77`) : Максимальная длина последовательности, используемая специально для кодирования описаний задач. Описания задач (например, «задача — семантическая») токенизируются с этим ограничением длины, которое может отличаться от общей длины текстовой последовательности.

Создаёт OneFormerProcessor, который объединяет процессор изображений и токенизатор в единый процессор.

[OneFormerProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerProcessor) предоставляет все возможности [OneFormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor) и [CLIPTokenizer](/docs/transformers/v5.23.0/ru/model_doc/clip#transformers.CLIPTokenizer). Подробнее см. в документации [~OneFormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor) и [~CLIPTokenizer](/docs/transformers/v5.23.0/ru/model_doc/clip#transformers.CLIPTokenizer).

#### __call__[[transformers.OneFormerProcessor.__call__]]

```python
__call__(images = None, task_inputs = None, segmentation_maps = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/processing_oneformer.py#L61)

**Параметры:**

images (``) : Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set `do_rescale=False`.

task_inputs (`str` или `list[str]`, *обязательный*) : Тип(ы) задачи сегментации. Должен быть одним или несколькими из `"semantic"`, `"instance"` или `"panoptic"`. Может быть одной строкой для одного изображения или списком строк (по одной на изображение) для пакетной обработки. Тип задачи определяет, какой тип сегментации модель выполнит на входных изображениях.

segmentation_maps (`ImageInput`, *необязательный*) : Соответствующие карты семантической сегментации с поэлементными аннотациями.  (`bool`, *необязательный*, по умолчанию `True`): Нужно ли дополнять изображения до размера самого большого изображения в батче и создавать пиксельную маску.  Если оставить значение по умолчанию, будет возвращена пиксельная маска, в которой:  - 1 для реальных пикселей (т. е. **не замаскированных**), - 0 для пикселей дополнения (т. е. **замаскированных**).

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:  - `'pt'`: возвращает объекты `torch.Tensor` PyTorch. - `'np'`: возвращает объекты `np.ndarray` NumPy.

**Возвращает:** [BatchFeature](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.BatchFeature)

Объект [BatchFeature](/docs/transformers/v5.23.0/ru/main_classes/feature_extractor#transformers.BatchFeature) со следующими полями:
- **task_inputs** -- Список идентификаторов токенов, которые передаются в модель. Возвращается, если `text` не равно `None`.
- **pixel_values** -- Значения пикселей, передаваемые в модель. Возвращается, если `images` не равно `None`.

## OneFormerModel[[transformers.OneFormerModel]]

#### transformers.OneFormerModel[[transformers.OneFormerModel]]

```python
transformers.OneFormerModel(config: OneFormerConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/modeling_oneformer.py#L2855)

**Параметры:**

config ([OneFormerConfig](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerConfig)) : класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Oneformer без специализированной головы, выводящая «сырые» скрытые состояния.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.OneFormerModel.forward]]

```python
forward(pixel_values: Tensor, task_inputs: Tensor, text_inputs: typing.Optional[torch.Tensor] = None, pixel_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/modeling_oneformer.py#L2872)

**Параметры:**

pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [OneFormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor). Подробности см. в [OneFormerImageProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) ([OneFormerProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerProcessor) использует [OneFormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor) для обработки изображений).

task_inputs (`torch.Tensor` формы `(batch_size, sequence_length)`) : Входы задачи. Входы задачи можно получить с помощью [AutoImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoImageProcessor). Подробности см. в [OneFormerProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerProcessor.__call__).

text_inputs (`list[torch.Tensor]`, *необязательный*) : тензор формы `(num_queries, sequence_length)`, который передается в модель

pixel_mask (`torch.Tensor` формы `(batch_size, height, width)`, *необязательный*) : Маска для исключения пикселей отступов из внимания. Значения маски выбираются из `[0, 1]`:  - 1 для реальных пикселей (т. е. **не замаскированных**), - 0 для пикселей отступов (т. е. **замаскированных**).  [Что такое маски внимания?](../glossary#attention-mask)

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** [OneFormerModelOutput](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.models.oneformer.modeling_oneformer.OneFormerModelOutput) или `tuple(torch.Tensor)`

Объект [OneFormerModelOutput](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.models.oneformer.modeling_oneformer.OneFormerModelOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([OneFormerConfig](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerConfig)) и входных данных.

Метод forward модели [OneFormerModel](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **encoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
- **transformer_decoder_object_queries** (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) -- Выходные object queries из последнего слоя декодера transformer.
- **transformer_decoder_contrastive_queries** (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) -- Контрастные запросы из декодера трансформера.
- **transformer_decoder_mask_predictions** (`torch.Tensor` формы `(batch_size, num_queries, height, width)`) -- Прогнозы масок из последнего слоя декодера трансформера.
- **transformer_decoder_class_predictions** (`torch.Tensor` формы `(batch_size, num_queries, num_classes+1)`) -- Прогнозы классов из последнего слоя декодера трансформера.
- **transformer_decoder_auxiliary_predictions** (`Tuple` из Dict `str, torch.Tensor`, *необязательный*) -- Кортеж предсказаний классов и масок из каждого слоя декодера трансформера.
- **text_queries** (`torch.Tensor`, *необязательный* параметр формы `(batch_size, num_queries, hidden_dim)`) -- Текстовые запросы, полученные из входного списка текстов и используемые для вычисления контрастивной функции потерь во время обучения.
- **task_token** (`torch.Tensor` формы `(batch_size, hidden_dim)`) — одномерный токен задачи для обусловливания запросов.
- **attentions** (`tuple(tuple(torch.Tensor))`, *optional*, возвращается, если передано `output_attentions=True` или если `config.output_attentions=True`) -- Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса Self и Cross Attention из декодера трансформера.

Пример:

```python
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> from transformers import OneFormerProcessor, OneFormerModel

>>> # download test image
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> # load processor for preprocessing the inputs
>>> processor = OneFormerProcessor.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")
>>> model = OneFormerModel.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")
>>> inputs = processor(image, ["semantic"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> mask_predictions = outputs.transformer_decoder_mask_predictions
>>> class_predictions = outputs.transformer_decoder_class_predictions

>>> f"👉 Mask Predictions Shape: {list(mask_predictions.shape)}, Class Predictions Shape: {list(class_predictions.shape)}"
'👉 Mask Predictions Shape: [1, 150, 128, 171], Class Predictions Shape: [1, 150, 151]'
```

## OneFormerForUniversalSegmentation[[transformers.OneFormerForUniversalSegmentation]]

#### transformers.OneFormerForUniversalSegmentation[[transformers.OneFormerForUniversalSegmentation]]

```python
transformers.OneFormerForUniversalSegmentation(config: OneFormerConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/modeling_oneformer.py#L2991)

**Параметры:**

config ([OneFormerConfig](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerConfig)) : класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель OneFormer для сегментации изображений: instance, semantic и panoptic.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.OneFormerForUniversalSegmentation.forward]]

```python
forward(pixel_values: Tensor, task_inputs: Tensor, text_inputs: typing.Optional[torch.Tensor] = None, mask_labels: list[torch.Tensor] | None = None, class_labels: list[torch.Tensor] | None = None, pixel_mask: typing.Optional[torch.Tensor] = None, output_auxiliary_logits: bool | None = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/oneformer/modeling_oneformer.py#L3058)

**Параметры:**

pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [OneFormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor). Подробности см. в [OneFormerImageProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) ([OneFormerProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerProcessor) использует [OneFormerImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerImageProcessor) для обработки изображений).

task_inputs (`torch.Tensor` формы `(batch_size, sequence_length)`) : Входы задачи. Входы задачи можно получить с помощью [AutoImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoImageProcessor). Подробности см. в [OneFormerProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerProcessor.__call__).

text_inputs (`list[torch.Tensor]`, *необязательный*) : тензор формы `(num_queries, sequence_length)`, который передается в модель

mask_labels (`list[torch.Tensor]`, *необязательный*) : Список меток маски формы `(num_labels, height, width)` для передачи в модель

class_labels (`list[torch.LongTensor]`, *необязательный*) : список целевых классов меток формы `(num_labels, height, width)`, передаваемых в модель. Они идентифицируют метки `mask_labels`, например, метку `mask_labels[i][j]`, если `class_labels[i][j]`.

pixel_mask (`torch.Tensor` формы `(batch_size, height, width)`, *необязательный*) : Маска для исключения пикселей отступов из внимания. Значения маски выбираются из `[0, 1]`:  - 1 для реальных пикселей (т. е. **не замаскированных**), - 0 для пикселей отступов (т. е. **замаскированных**).  [Что такое маски внимания?](../glossary#attention-mask)

output_auxiliary_logits (`bool`, *необязательный*) : Включает ли вывод вспомогательных логитов.

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** [OneFormerForUniversalSegmentationOutput](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.models.oneformer.modeling_oneformer.OneFormerForUniversalSegmentationOutput) или `tuple(torch.Tensor)`

Объект [OneFormerForUniversalSegmentationOutput](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.models.oneformer.modeling_oneformer.OneFormerForUniversalSegmentationOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([OneFormerConfig](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerConfig)) и входных данных.

Метод forward класса [OneFormerForUniversalSegmentation](/docs/transformers/v5.23.0/ru/model_doc/oneformer#transformers.OneFormerForUniversalSegmentation) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor`, *optional*) -- Вычисленная величина потерь, возвращается при наличии меток.
- **class_queries_logits** (`torch.Tensor`, *optional*) — тензор формы `(batch_size, num_queries, num_labels + 1)`, представляющий предложенные классы для каждого запроса. Обратите внимание, что `+ 1` необходимо, так как мы учитываем нулевой класс.
- **masks_queries_logits** (`torch.Tensor`, *необязательный*) -- тензор формы `(batch_size, num_queries, height, width)`, представляющий предложенные маски для каждого запроса.
- **auxiliary_predictions** (`List` из Dict `str, torch.Tensor`, *необязательный*) -- Список предсказаний классов и масок от каждого слоя декодера трансформера.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, num_channels, height, width)`. Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
- **transformer_decoder_object_queries** (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) -- Выходные object queries из последнего слоя декодера transformer.
- **transformer_decoder_contrastive_queries** (`torch.Tensor` формы `(batch_size, num_queries, hidden_dim)`) -- Контрастные запросы из декодера трансформера.
- **transformer_decoder_mask_predictions** (`torch.Tensor` формы `(batch_size, num_queries, height, width)`) -- Прогнозы масок из последнего слоя декодера трансформера.
- **transformer_decoder_class_predictions** (`torch.Tensor` формы `(batch_size, num_queries, num_classes+1)`) -- Прогнозы классов из последнего слоя декодера трансформера.
- **transformer_decoder_auxiliary_predictions** (`List` of Dict of `str, torch.Tensor`, *optional*) -- List of class and mask predictions from each layer of the transformer decoder.
- **text_queries** (`torch.Tensor`, *необязательный* параметр формы `(batch_size, num_queries, hidden_dim)`) -- Текстовые запросы, полученные из входного списка текстов и используемые для вычисления контрастивной функции потерь во время обучения.
- **task_token** (`torch.Tensor` формы `(batch_size, hidden_dim)`) — одномерный токен задачи для обусловливания запросов.
- **attentions** (`tuple(tuple(torch.Tensor))`, *optional*, возвращается, если передано `output_attentions=True` или если `config.output_attentions=True`) -- Кортеж `tuple(torch.Tensor)` (по одному для каждого слоя) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса Self и Cross Attention из декодера трансформера.

Пример:

Пример универсальной сегментации:

```python
>>> from transformers import OneFormerProcessor, OneFormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # load OneFormer fine-tuned on ADE20k for universal segmentation
>>> processor = OneFormerProcessor.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")
>>> model = OneFormerForUniversalSegmentation.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")

>>> url = (
...     "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> # Semantic Segmentation
>>> inputs = processor(image, ["semantic"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to processor for semantic postprocessing
>>> predicted_semantic_map = processor.post_process_semantic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> f"👉 Semantic Predictions Shape: {list(predicted_semantic_map.shape)}"
'👉 Semantic Predictions Shape: [512, 683]'

>>> # Instance Segmentation
>>> inputs = processor(image, ["instance"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to processor for instance postprocessing
>>> predicted_instance_map = processor.post_process_instance_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> f"👉 Instance Predictions Shape: {list(predicted_instance_map.shape)}"
'👉 Instance Predictions Shape: [512, 683]'

>>> # Panoptic Segmentation
>>> inputs = processor(image, ["panoptic"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to processor for panoptic postprocessing
>>> predicted_panoptic_map = processor.post_process_panoptic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> f"👉 Panoptic Predictions Shape: {list(predicted_panoptic_map.shape)}"
'👉 Panoptic Predictions Shape: [512, 683]'
```

