# Qwen2.5-Omni ## Обзор Модель [Qwen2.5-Omni](https://qwenlm.github.io/blog/qwen2.5-omni/) — это унифицированная мультимодальная модель, предложенная командой Qwen из Alibaba Group в [Qwen2.5-Omni Technical Report](https://huggingface.co/papers/2503.20215). Аннотация из технического отчёта приведена ниже: *Мы представляем Qwen2.5-Omni — мультимодальную модель, работающую от входа до выхода, которая предназначена для восприятия различных модальностей, включая текст, изображения, аудио и видео, и одновременно генерирует текстовые и естественные речевые ответы в потоковом режиме. Для обеспечения потоковой обработки мультимодальных входных данных как аудио-, так и визуальные энкодеры используют подход обработки по блокам. Эта стратегия эффективно разделяет обработку длинных последовательностей мультимодальных данных, возлагая задачи восприятия на мультимодальный энкодер, а моделирование расширенных последовательностей — на большую языковую модель. Такое разделение труда улучшает слияние различных модальностей посредством общего механизма внимания. Для синхронизации временных меток видеовходов с аудио мы организовали аудио и видео последовательно в чередующемся порядке и предлагаем новый подход к позиционному встраиванию, названный TMRoPE (Time-aligned Multimodal RoPE). Для одновременной генерации текста и речи при избегании взаимного влияния двух модальностей мы предлагаем архитектуру Thinker-Talker. В этой архитектуре Thinker выступает в роли большой языковой модели, отвечающей за генерацию текста, а Talker — это двухканальная авторегрессионная модель, которая напрямую использует скрытые представления от Thinker для генерации аудиотокенов на выходе. Обе модели, Thinker и Talker, спроектированы для обучения и инференса в режиме от входа до выхода. Для декодирования аудиотокенов в потоковом режиме мы вводим скользящее окно DiT, которое ограничивает поле восприятия, с целью снижения задержки первого пакета. Qwen2.5-Omni превосходит Qwen2-VL и Qwen2-Audio сопоставимого размера как по возможностям работы с изображениями, так и с аудио. Кроме того, Qwen2.5-Omni демонстрирует наилучшие результаты на мультимодальных бенчмарках, таких как Omni-Bench. Примечательно, что Qwen2.5-Omni — первая открытая модель, достигшая уровня производительности в следовании речевым инструкциям от входа до выхода, сопоставимого с её возможностями при текстовых входах, что подтверждается бенчмарками, такими как MMLU и GSM8K. Что касается генерации речи, потоковый Talker в Qwen2.5-Omni превосходит большинство существующих потоковых и непотоковых альтернатив по устойчивости и естественности.* > [!TIP] > Установите `use_kernels=True` в [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained), чтобы заменить поддерживаемые слои на оптимизированные ядра из Hub. Подробнее см. в разделе [Загрузка ядер](../kernel_doc/loading_kernels). ## Примечания - Используйте [Qwen2_5OmniForConditionalGeneration](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniForConditionalGeneration) для генерации аудио- и текстового вывода. Чтобы генерировать только один тип вывода, используйте [Qwen2_5OmniThinkerForConditionalGeneration](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerForConditionalGeneration) для только текста и `Qwen2_5OmniTalkersForConditionalGeneration` для только аудио. - Если при работе с видеовходом возникают ошибки нехватки памяти, уменьшите `processor.max_pixels`. По умолчанию максимальное значение установлено на очень большое число, и изображения высокого разрешения не масштабируются, если их разрешение не превышает `processor.max_pixels`. - У процессора есть собственный метод [apply_chat_template()](/docs/transformers/main/ru/main_classes/processors#transformers.ProcessorMixin.apply_chat_template) для преобразования сообщений чата во входные данные модели. ## Пример использования `Qwen2.5-Omni` можно найти на [Huggingface Hub](https://huggingface.co/Qwen). ### Вывод для одиночных медиа Модель может принимать на вход текст, изображения, аудио и видео. Ниже приведён пример кода для инференса. ```python import soundfile as sf from transformers import Qwen2_5OmniForConditionalGeneration, Qwen2_5OmniProcessor model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", ) processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") conversations = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "video", "video": "/path/to/video.mp4"}, {"type": "text", "text": "What can't you hear and see in this video?"}, ], }, ] inputs = processor.apply_chat_template( conversations, load_audio_from_video=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", fps=1, # kwargs to be passed to `Qwen2-5-OmniProcessor` padding=True, use_audio_in_video=True, ).to(model.device) # Generation params for audio or text can be different and have to be prefixed with `thinker_` or `talker_` text_ids, audio = model.generate(**inputs, use_audio_in_video=True, thinker_do_sample=False, talker_do_sample=True) text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False) sf.write( "output.wav", audio.reshape(-1).detach().cpu().numpy(), samplerate=24000, ) print(text) ``` ### Генерация только текста Чтобы генерировать только текстовый вывод и сэкономить вычислительные ресурсы, не загружая модель генерации аудио, можно использовать модель `Qwen2_5OmniThinkerForConditionalGeneration`. ```python from transformers import Qwen2_5OmniProcessor, Qwen2_5OmniThinkerForConditionalGeneration model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", ) processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") conversations = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "video", "video": "/path/to/video.mp4"}, {"type": "text", "text": "What can't you hear and see in this video?"}, ], }, ] inputs = processor.apply_chat_template( conversations, load_audio_from_video=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", fps=1, # kwargs to be passed to `Qwen2-5-OmniProcessor` padding=True, use_audio_in_video=True, ).to(model.device) text_ids = model.generate(**inputs, use_audio_in_video=True) text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False) print(text) ``` ### Пакетный вывод для смешанных мультимедийных данных Модель `Qwen2_5OmniThinkerForConditionalGeneration` позволяет обрабатывать батчи, состоящие из смешанных образцов различных типов, таких как текст, изображения, аудио и видео. Ниже приведен пример. ```python from transformers import Qwen2_5OmniForConditionalGeneration, Qwen2_5OmniProcessor model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto" ) processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") # Conversation with video only conversation1 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "video", "path": "/path/to/video.mp4"}, ] } ] # Conversation with audio only conversation2 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "audio", "path": "/path/to/audio.wav"}, ] } ] # Conversation with pure text conversation3 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [{"type": "text", "text": "who are you?"}], } ] # Conversation with mixed media conversation4 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "image", "path": "/path/to/image.jpg"}, {"type": "video", "path": "/path/to/video.mp4"}, {"type": "audio", "path": "/path/to/audio.wav"}, {"type": "text", "text": "What are the elements can you see and hear in these media?"}, ], } ] conversations = [conversation1, conversation2, conversation3, conversation4] inputs = processor.apply_chat_template( conversations, load_audio_from_video=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", fps=1, # kwargs to be passed to `Qwen2-5-OmniProcessor` padding=True, use_audio_in_video=True, ).to(model.thinker.device) text_ids = model.generate(**inputs, use_audio_in_video=True) text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False) print(text) ``` ### Генерация аудио пакетами [Qwen2_5OmniForConditionalGeneration](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniForConditionalGeneration) поддерживает генерацию аудиовыхода пачками. Например, ниже приведён пример пакетной генерации речи из текста. При обработке пачки, содержащей более одного примера, сгенерированный аудиопоток возвращается в виде списка, где каждому примеру соответствует своя волновая форма, уже обрезанная до своей длины, поэтому короткие примеры не дополняются лишним звуком. При вызове с одним примером возвращается один тензор. ```python import soundfile as sf from transformers import AutoModelForTextToWaveform, AutoProcessor import torch model_id = "Qwen/Qwen2.5-Omni-7B" model = AutoModelForTextToWaveform.from_pretrained(model_id, device_map="auto") processor = AutoProcessor.from_pretrained(model_id) sampling_rate = 24000 # output sampling rate max_new_tokens = 200 # maximum number of tokens to generate system_text = ( "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of " "perceiving auditory and visual inputs, as well as generating text and speech." ) texts = [ "Hello, I'm Qwen. How can I help you today?", "The weather is nice today. Let's go for a walk.", ] inputs = processor.apply_chat_template( [ [ {"role": "system", "content": [{"type": "text", "text": system_text}]}, { "role": "user", "content": [ { "type": "text", "text": ( "Please read the following text aloud exactly as written, with no " f"additional commentary:\n\n{text}" ), } ], }, ] for text in texts ], tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", processor_kwargs={"padding": True}, ).to(model.device, dtype=model.dtype) gen_kwargs = { "talker_do_sample": True, "speaker": "Ethan", # Ethan, Chelsie "talker_max_new_tokens": max_new_tokens, } _, pred_waveform = model.generate(**inputs, **gen_kwargs) for sample_id, audio in enumerate(pred_waveform): sf.write( f"qwen2_5_omni_output_{sample_id}.wav", audio.detach().to(torch.float32).cpu().numpy(), sampling_rate, ) print(f"Saved audio to qwen2_5_omni_output_{sample_id}.wav") ``` ### Советы по использованию #### Компромисс с разрешением изображения Модель поддерживает широкий диапазон входных разрешений. По умолчанию используется нативное разрешение, однако более высокое разрешение может повысить качество работы модели за счёт увеличения вычислительных затрат. Пользователи могут задать минимальное и максимальное количество пикселей, чтобы подобрать оптимальную конфигурацию под свои задачи. ```python min_pixels = 128*28*28 max_pixels = 768*28*28 processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B", min_pixels=min_pixels, max_pixels=max_pixels) ``` #### Запрос для вывода аудио If users need audio output, the system prompt must be set as "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.", otherwise the audio output may not work as expected. ```python { "role": "system", "content": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.", } ``` #### Использовать аудиовыход или нет Модель поддерживает как текстовый, так и аудиовыход. Если пользователям не нужен аудиовыход, они могут установить `enable_audio_output` в функции `from_pretrained`. Эта опция позволит сэкономить около `~2GB` видеопамяти GPU, однако опция `return_audio` для функции `generate` будет доступна только со значением `False`. ```python model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", enable_audio_output=False, ) ``` Для обеспечения гибкого опыта работы мы рекомендуем пользователям устанавливать `enable_audio_output` в `True` при инициализации модели с помощью функции `from_pretrained`, а затем решать, возвращать ли аудио при вызове функции `generate`. Если `return_audio` установлено в `False`, модель будет возвращать только текстовые выходные данные, что позволяет получать текстовые ответы быстрее. ```python model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", enable_audio_output=True, ) ... text_ids = model.generate(**inputs, return_audio=False) ``` #### Изменение типа голоса выходного аудио Qwen2.5-Omni поддерживает возможность изменения голоса в выходном аудио. Пользователи могут использовать параметр `speaker` функции `generate` для указания типа голоса. Чекпоинт `"Qwen/Qwen2.5-Omni-7B"` поддерживает два типа голоса: `Chelsie` и `Ethan`, где `Chelsie` — женский голос, а `Ethan` — мужской. По умолчанию, если `speaker` не указан, используется тип голоса `Chelsie`. ```python text_ids, audio = model.generate(**inputs, speaker="Chelsie") ``` ```python text_ids, audio = model.generate(**inputs, speaker="Ethan") ``` #### Flash-Attention 2 для ускорения генерации Сначала убедитесь, что установлена последняя версия Flash Attention 2: ```bash pip install -U flash-attn --no-build-isolation ``` Также у вас должно быть оборудование, совместимое с FlashAttention 2. Подробнее об этом можно прочитать в официальной документации [репозитория flash attention](https://github.com/Dao-AILab/flash-attention). FlashAttention-2 можно использовать только тогда, когда модель загружена в формате `torch.float16` или `torch.bfloat16`. Чтобы загрузить и запустить модель с использованием FlashAttention-2, добавьте `attn_implementation="flash_attention_2"` при загрузке модели: ```python from transformers import Qwen2_5OmniForConditionalGeneration model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", attn_implementation="flash_attention_2", ) ``` ## Qwen2_5OmniConfig[[transformers.Qwen2_5OmniConfig]] #### transformers.Qwen2_5OmniConfig[[transformers.Qwen2_5OmniConfig]] ```python transformers.Qwen2_5OmniConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, thinker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, talker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, token2wav_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, enable_audio_output: bool = True) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L533) **Параметры:** thinker_config (`dict`, *необязательный*) : Конфигурация базовой подмодели thinker. talker_config (`dict`, *необязательный*) : Конфигурация базовой подмодели talker. token2wav_config (`dict`, *необязательный*) : Конфигурация базовой подмодели кодека. enable_audio_output (`bool`, *необязательный*, по умолчанию `True`) : Включает ли вывод аудио и загрузку модулей talker и token2wav. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import ( ... Qwen2_5OmniThinkerConfig, ... Qwen2_5OmniTalkerConfig, ... Qwen2_5OmniToken2WavConfig, ... Qwen2_5OmniForConditionalGeneration, ... Qwen2_5OmniConfig, ... ) >>> # Initializing sub-modules configurations. >>> thinker_config = Qwen2_5OmniThinkerConfig() >>> talker_config = Qwen2_5OmniTalkerConfig() >>> token2wav_config = Qwen2_5OmniToken2WavConfig() >>> # Initializing a module style configuration >>> configuration = Qwen2_5OmniConfig( ... thinker_config, talker_config, token2wav_config ... ) >>> # Initializing a model (with random weights) >>> model = Qwen2_5OmniForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` #### get_text_config[[transformers.Qwen2_5OmniConfig.get_text_config]] ```python get_text_config(*args, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L586) **Параметры:** decoder (`Optional[bool]`, *необязательный*, по умолчанию `False`) : Если установлено в `True`, выполняется поиск только имён конфигураций декодера. Возвращает конфигурацию, предназначенную для использования с текстовым вводом-выводом. В большинстве моделей это сам исходный экземпляр конфигурации. В определённых составных моделях он находится под одним из допустимых имён. ## Qwen2_5OmniVisionEncoderConfig[[transformers.Qwen2_5OmniVisionEncoderConfig]] #### transformers.Qwen2_5OmniVisionEncoderConfig[[transformers.Qwen2_5OmniVisionEncoderConfig]] ```python transformers.Qwen2_5OmniVisionEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, depth: int = 32, hidden_size: int = 3584, hidden_act: str = 'silu', intermediate_size: int = 3420, num_heads: int = 16, in_channels: int = 3, patch_size: int | list[int] | tuple[int, int] = 14, spatial_merge_size: int = 2, temporal_patch_size: int | list[int] | tuple[int, int] = 2, window_size: int = 112, out_hidden_size: int = 3584, fullatt_block_indexes: list[int] | tuple[int, ...] = (7, 15, 23, 31), initializer_range: float = 0.02, rope_parameters: dict | None = None) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L30) **Параметры:** depth (`int`, *необязательный*, по умолчанию `32`) : Количество слоев Transformer в визуальном энкодере. hidden_size (`int`, *optional*, по умолчанию `3584`) : Размерность скрытых представлений. hidden_act (`str`, *необязательный*, по умолчанию `silu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д. intermediate_size (`int`, *optional*, по умолчанию `3420`) : Размерность представлений MLP. num_heads (`int`, *необязательный*, по умолчанию `16`) : Количество головок внимания для каждого слоя внимания в декодере Transformer. in_channels (`int`, *необязательный*, по умолчанию `3`) : Количество входных каналов. patch_size (`Union[int, list[int], tuple[int, int]]`, *необязательный*, по умолчанию `14`) : Размер (разрешение) каждого патча. spatial_merge_size (`int`, *optional*, по умолчанию `2`) : Размер пространственного окна слияния, используемого для уменьшения количества визуальных токенов путём объединения соседних патчей. temporal_patch_size (`Union[int, list[int], tuple[int, int]]`, *необязательный*, по умолчанию `2`) : Размер временного патча, используемого в 3D-встраивании патчей для видеовходов. window_size (`int`, *optional*, по умолчанию 11) : Размер окон. out_hidden_size (`int`, *optional*, по умолчанию 3584) : Размер скрытого слоя на выходе визуальной модели. fullatt_block_indexes (`int`, *необязательный*, по умолчанию `[7, 15, 23, 31]`) : Индексы слоев с полным вниманием initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. rope_parameters (`dict`, *необязательный*) : Словарь, содержащий параметры конфигурации для вложений RoPE. Словарь должен содержать значение для `rope_theta` и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными `max_position_embeddings`. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import Qwen2_5OmniVisionEncoderConfig, Qwen2_5OmniVisionEncoder >>> # Initializing a Qwen2_5OmniVisionEncoderConfig >>> configuration = Qwen2_5OmniVisionEncoderConfig() >>> # Initializing a Qwen2_5OmniVisionEncoder (with random weights) >>> model = Qwen2_5OmniVisionEncoder(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniTextConfig[[transformers.Qwen2_5OmniTextConfig]] #### transformers.Qwen2_5OmniTextConfig[[transformers.Qwen2_5OmniTextConfig]] ```python transformers.Qwen2_5OmniTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 152064, hidden_size: int = 3584, intermediate_size: int = 18944, num_hidden_layers: int = 28, num_attention_heads: int = 28, num_key_value_heads: int | None = 4, hidden_act: str = 'silu', max_position_embeddings: int = 32768, initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, use_sliding_window: bool = False, sliding_window: int | None = 32768, max_window_layers: int = 28, layer_types: list[str] | None = None, attention_dropout: float | int = 0.0, pad_token_id: int | None = None, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None, tie_word_embeddings: bool = True) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L128) **Параметры:** vocab_size (`int`, *необязательный*, по умолчанию `152064`) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`. hidden_size (`int`, *optional*, по умолчанию `3584`) : Размерность скрытых представлений. intermediate_size (`int`, *необязательный*, по умолчанию `18944`) : Размерность представлений MLP. num_hidden_layers (`int`, *необязательный*, по умолчанию `28`) : Количество скрытых слоев в декодере Transformer. num_attention_heads (`int`, *необязательный*, по умолчанию `28`) : Количество головок внимания для каждого слоя внимания в декодере Transformer. num_key_value_heads (`int`, *optional*, по умолчанию `4`) : Это количество ключевых и value-голов, которое следует использовать для реализации Grouped Query Attention. Если `num_key_value_heads=num_attention_heads`, модель будет использовать Multi Head Attention (MHA), если `num_key_value_heads=1` — Multi Query Attention (MQA), в противном случае используется GQA. При конвертации multi-head checkpoint в GQA checkpoint каждая группа ключевых и value-голов должна быть построена путем усреднения (meanpooling) всех исходных голов в этой группе. Подробнее см. в [этой статье](https://huggingface.co/papers/2305.13245). Если значение не указано, по умолчанию используется `num_attention_heads`. hidden_act (`str`, *необязательный*, по умолчанию `silu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д. max_position_embeddings (`int`, *необязательный*, по умолчанию `32768`) : Максимальная длина последовательности, с которой может использоваться эта модель. initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. rms_norm_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Значение epsilon, используемое слоями нормализации rms. use_cache (`bool`, *необязательный*, по умолчанию `True`) : Следует ли модели возвращать последние значения внимания key/values (не используется во всех моделях). Актуально только при `config.is_decoder=True` или если модель является генеративной моделью только с декодером. rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Словарь, содержащий параметры конфигурации для вложений RoPE. Словарь должен содержать значение для `rope_theta` и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными `max_position_embeddings`. use_sliding_window (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли внимание со скользящим окном. sliding_window (`int`, *optional*, по умолчанию `32768`) : Размер окна скользящего внимания. Если `None`, скользящее окно не применяется. max_window_layers (`int`, *optional*, по умолчанию `28`) : Количество слоев, использующих полное внимание. Первые `max_window_layers` слоев будут использовать полное внимание, а все последующие слои будут использовать SWA (Sliding Window Attention). layer_types (`list[str]`, *необязательный*) : Список, который явно сопоставляет каждый индекс слоя с его типом. Если не указан, будет автоматически сгенерирован на основе значений конфигурации. attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для вероятностей внимания. pad_token_id (`int`, *необязательный*) : Идентификатор токена, используемый для выравнивания в словаре. bos_token_id (`int`, *optional*) : Идентификатор токена, используемый для обозначения начала потока в словаре. eos_token_id (`Union[int, list[int]]`, *необязательный*) : Идентификатор токена, используемый для обозначения конца потока в словаре. tie_word_embeddings (`bool`, *необязательный*, по умолчанию `True`) : Связывать ли веса эмбеддингов согласно отображению `tied_weights_keys` модели. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import Qwen2_5OmniThinkerForConditionalGeneration, Qwen2_5OmniThinkerConfig, Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniVisionEncoderConfig >>> # Initializing a Qwen2_5OmniAudioEncoder config >>> audio_config = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2_5OmniVisionEncoder config >>> vision_config = Qwen2_5OmniVisionEncoderConfig() >>> # Initializing a Qwen2.5OmniThinker configuration >>> configuration = Qwen2_5OmniThinkerConfig(audio_config, vision_config) >>> # Initializing a model from the Qwen-Omni style configuration >>> model = Qwen2_5OmniThinkerForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniDiTConfig[[transformers.Qwen2_5OmniDiTConfig]] #### transformers.Qwen2_5OmniDiTConfig[[transformers.Qwen2_5OmniDiTConfig]] ```python transformers.Qwen2_5OmniDiTConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 1024, num_hidden_layers: int = 22, num_attention_heads: int = 16, ff_mult: int = 2, emb_dim: int = 512, head_dim: int = 64, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, max_position_embeddings: int = 32768, block_size: int = 24, look_ahead_layers: list[int] | tuple[int, ...] = (10,), look_backward_layers: list[int] | tuple[int, ...] = (0, 20), repeats: int = 2, num_embeds: int = 8193, mel_dim: int = 80, dropout: float | int = 0.1, enc_emb_dim: int = 192, enc_dim: int = 128, enc_channels: list[int] | tuple[int, ...] = (256, 256, 256, 256, 768), enc_kernel_sizes: list[int] | tuple[int, ...] = (5, 3, 3, 3, 1), enc_dilations: list[int] | tuple[int, ...] = (1, 2, 3, 4, 1), enc_attention_channels: int = 64, enc_res2net_scale: int = 2, enc_se_channels: int = 64) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L391) **Параметры:** hidden_size (`int`, *необязательный*, по умолчанию `1024`) : Размерность скрытых представлений. num_hidden_layers (`int`, *необязательный*, по умолчанию `22`) : Количество скрытых слоев в декодере Transformer. num_attention_heads (`int`, *необязательный*, по умолчанию `16`) : Количество головок внимания для каждого слоя внимания в декодере Transformer. ff_mult (`int`, *optional*, по умолчанию 2) : Множитель для слоя прямой передачи в каждом блоке трансформера. emb_dim (`int`, *необязательный*, по умолчанию 512) : Размерность слоя встраиваний. head_dim (`int`, *необязательный*, по умолчанию `64`) : Размер измерения головы внимания. Если None, по умолчанию будет hidden_size // num_attention_heads rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Словарь, содержащий параметры конфигурации для вложений RoPE. Словарь должен содержать значение для `rope_theta` и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными `max_position_embeddings`. max_position_embeddings (`int`, *необязательный*, по умолчанию `32768`) : Максимальная длина последовательности, с которой может использоваться эта модель. block_size (`int`, *необязательный*, по умолчанию 64) : Количество токенов (кадров) в каждом блоке обработки. look_ahead_layers (`list[int]`, *необязательный*, по умолчанию `[10]`) : Количество слоев трансформера, которым разрешено обращаться к будущим блокам look_backward_layers (`list[int]`, *необязательный*, по умолчанию `[0, 20]`) : Количество слоев трансформера, которые обращаются к прошлым блокам за пределами текущего блока repeats (`int`, *optional*, по умолчанию 2) : Количество повторений эмбеддингов кодека. num_embeds (`int`, *optional*, по умолчанию 8193) : Количество уникальных эмбеддингов в кодеке. mel_dim (`int`, *optional*, по умолчанию 80) : Размерность мел-спектрограммы. dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Доля для всех слоёв dropout. enc_emb_dim (`int`, *optional*, по умолчанию 192) : Размерность предобученного встраивания говорящего. enc_dim (`int`, *optional*, по умолчанию 128) : Размерность выхода кодировщика. enc_channels (`list[int]`, *optional*, по умолчанию `[256, 256, 256, 256, 768]`) : Список выходных каналов для каждого слоя TDNN/SERes2Net в кодировщике. enc_kernel_sizes (`list[int]`, *optional*, по умолчанию `[5, 3, 3, 3, 1]`) : Список размеров ядер для каждого слоя в кодере. enc_dilations (`list[int]`, *optional*, по умолчанию `[1, 2, 3, 4, 1]`) : Список значений дилейшена для каждого слоя в энкодере. enc_attention_channels (`int`, *optional*, по умолчанию 64) : Количество каналов внимания в SqueezeExcitationBlock. enc_res2net_scale (`int`, *optional*, по умолчанию 2) : Масштаб блока Res2Net в кодировщике. enc_se_channels (`int`, *optional*, по умолчанию 64) : Количество выходных каналов после сжатия в SqueezeExcitationBlock. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). ## Qwen2_5OmniBigVGANConfig[[transformers.Qwen2_5OmniBigVGANConfig]] #### transformers.Qwen2_5OmniBigVGANConfig[[transformers.Qwen2_5OmniBigVGANConfig]] ```python transformers.Qwen2_5OmniBigVGANConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, mel_dim: int = 80, upsample_initial_channel: int = 1536, resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5)), upsample_rates: list[int] | tuple[int, ...] = (5, 3, 2, 2, 2, 2), upsample_kernel_sizes: list[int] | tuple[int, ...] = (11, 7, 4, 4, 4, 4)) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L456) **Параметры:** mel_dim (`int`, *optional*, по умолчанию 80) : Размерность мел-спектрограммы. upsample_initial_channel (`int`, *необязательный*, по умолчанию 1536) : Количество каналов в начальном слое апсемплинга. resblock_kernel_sizes (`list[int]`, *необязательный*, по умолчанию `[3, 7, 11]`) : Список размеров ядер для каждого остаточного блока. resblock_dilation_sizes (`list[list[int]]`, *необязательный*, по умолчанию `[[1, 3, 5], [1, 3, 5], [1, 3, 5]]`) : список размеров дилатации для каждого остаточного блока. upsample_rates (`list[int]`, *optional*, по умолчанию `[5, 3, 2, 2, 2, 2]`) : Список коэффициентов апсемплинга для каждого слоя апсемплинга. upsample_kernel_sizes (`list[int]`, *необязательный*, по умолчанию `[11, 7, 4, 4, 4, 4]`) : Список размеров ядер для каждого слоя апсемплинга. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). ## Qwen2_5OmniAudioEncoderConfig[[transformers.Qwen2_5OmniAudioEncoderConfig]] #### transformers.Qwen2_5OmniAudioEncoderConfig[[transformers.Qwen2_5OmniAudioEncoderConfig]] ```python transformers.Qwen2_5OmniAudioEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, num_mel_bins: int = 128, encoder_layers: int = 32, encoder_attention_heads: int = 20, encoder_ffn_dim: int = 5120, d_model: int = 1280, dropout: float | int = 0.0, attention_dropout: float | int = 0.0, activation_function: str = 'gelu', activation_dropout: float | int = 0.0, scale_embedding: bool = False, initializer_range: float = 0.02, max_source_positions: int = 1500, n_window: int = 100, output_dim: int = 3584) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L77) **Параметры:** num_mel_bins (`int`, *optional*, по умолчанию `128`) : Количество мел-признаков, используемых на входной кадр. Должно соответствовать значению, используемому в классе `AutoFeatureExtractor`. encoder_layers (`int`, *optional*, по умолчанию `32`) : Количество скрытых слоев в кодере Transformer. Если не задано, будет использовано то же значение, что и у `num_layers`. encoder_attention_heads (`int`, *необязательный*, по умолчанию `20`) : Количество головок внимания для каждого слоя внимания в кодере Transformer. encoder_ffn_dim (`int`, *optional*, по умолчанию `5120`) : Размерность «промежуточного» (часто называемого feed-forward) слоя в энкодере. d_model (`int`, *необязательный*, по умолчанию `1280`) : Размер слоёв кодировщика и пулера. dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент для всех слоёв dropout. attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для вероятностей внимания. activation_function (`str`, *необязательный*, по умолчанию `gelu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д. activation_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для активаций внутри полносвязного слоя. scale_embedding (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли масштабировать эмбеддинги, деля их на sqrt(d_model). initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. max_source_positions (`int`, *optional*, по умолчанию 1500) : Максимальная длина последовательности признаков log-mel filter-bank, с которой может использоваться данная модель. n_window (`int`, *необязательный*, по умолчанию 100) : Размер блока для conv и flash attn в AudioEncoder. output_dim (`int`, *optional*, по умолчанию 3584) : Размер выходного измерения AudioEncoder. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniAudioEncoder >>> # Initializing a Qwen2_5OmniAudioEncoderConfig >>> configuration = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2_5OmniAudioEncoder (with random weights) >>> model = Qwen2_5OmniAudioEncoder(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniProcessor[[transformers.Qwen2_5OmniProcessor]] #### transformers.Qwen2_5OmniProcessor[[transformers.Qwen2_5OmniProcessor]] ```python transformers.Qwen2_5OmniProcessor(image_processor = None, video_processor = None, feature_extractor = None, tokenizer = None, chat_template = None) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/processing_qwen2_5_omni.py#L119) **Параметры:** image_processor (`Qwen2VLImageProcessor`) : Процессор изображений является обязательным входным параметром. video_processor (`Qwen2VLVideoProcessor`) : процессор видео является обязательным входным параметром. feature_extractor (`WhisperFeatureExtractor`) : Извлечение признаков является обязательным входом. tokenizer (`Qwen2Tokenizer`) : Токенизатор является обязательным входным параметром. chat_template (`str`) : Шаблон Jinja для преобразования списков сообщений в чате в строку, готовую к токенизации. Создаёт Qwen2_5OmniProcessor, который объединяет процессор изображений, процессор видео, извлекатель признаков и токенизатор в единый процессор. [Qwen2_5OmniProcessor](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) предоставляет все возможности [Qwen2VLImageProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor), [Qwen2VLVideoProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor), [WhisperFeatureExtractor](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor) и [Qwen2Tokenizer](/docs/transformers/main/ru/model_doc/qwen2#transformers.Qwen2Tokenizer). Подробнее см. в [~Qwen2VLImageProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor), [~Qwen2VLVideoProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor), [~WhisperFeatureExtractor](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor) и [~Qwen2Tokenizer](/docs/transformers/main/ru/model_doc/qwen2#transformers.Qwen2Tokenizer). #### __call__[[transformers.Qwen2_5OmniProcessor.__call__]] ```python __call__(text: str | list[str] | list[list[str]] = None, images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, videos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = None, audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/processing_qwen2_5_omni.py#L137) **Параметры:** text (`Union[str, list[str], list[list[str]]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если вы передаёте предтокенизированный вход, установите `is_split_into_words=True`, чтобы избежать неоднозначности с батчированными входами. images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`, *необязательный*) : Изображение для предварительной обработки. Ожидается одно изображение или пакет изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите `do_rescale=False`. videos (`Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]]`, *optional*) : Видео для предобработки. Ожидается одно видео или батч видео со значениями пикселей в диапазоне от 0 до 255. Если передаются видео со значениями пикселей от 0 до 1, установите `do_rescale=False`. audio (`Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor]]`, *необязательный*) : Аудио или пакет аудио, подлежащий подготовке. Каждое аудио может быть массивом NumPy или тензором PyTorch. В случае массива NumPy/тензора PyTorch каждое аудио должно иметь форму (C, T), где C — количество каналов, а T — длина выборки аудио. min_pixels (`int`, *kwargs*, *optional*) : Минимальное количество пикселей (высота × ширина) для кадров видео после изменения размера. Кадр, размер которого меньше этого порога, будет увеличен для соответствия минимальному требованию. max_pixels (`int`, *kwargs*, *optional*) : Максимальное количество пикселей (высота × ширина) для кадров видео после изменения размера. Кадр, превышающий этот порог, будет уменьшен до соответствия лимиту. patch_size (`int`, *kwargs*, *optional*) : Размер пространственного патча, используемого визуальным энкодером. Кадры видео делятся на патчи этого размера по обеим осям — высоте и ширине. temporal_patch_size (`int`, *kwargs*, *optional*) : Размер временного патча, используемого визуальным энкодером. Определяет, сколько последовательных кадров группируются в один временной патч. merge_size (`int`, *kwargs*, *optional*) : Размер слияния, используемый для объединения пространственных патчей. Несколько патчей объединяются вместе для сокращения длины последовательности с сохранением пространственной информации. min_frames (`int`, *kwargs*, *optional*) : Минимальное количество кадров, которое нужно извлечь из видео. Если в видео меньше кадров, они будут дополнены или повторены, чтобы выполнить это требование. max_frames (`int`, *kwargs*, *optional*) : Максимальное количество кадров, извлекаемых из видео. Более длинные видео будут обрезаны или выборочно сэмплированы, чтобы уложиться в этот лимит. use_audio_in_video (`bool`, *kwargs*, *необязательный*, по умолчанию `False`) : Устаревший аргумент — используйте `load_audio_from_video`. load_audio_from_video (`bool`, *kwargs*, *optional*, по умолчанию `False`) : Указывает, следует ли использовать аудиоданные при обработке видео. Если включено, аудио-токены чередуются с видео-токенами на основе временного выравнивания, формируя единое мультимодальное представление. seconds_per_chunk (`float`, *kwargs*, *optional*, по умолчанию `2.0`) : Длительность (в секундах) каждого фрагмента видео при разбиении длинных видео. Этот параметр управляет тем, как видео разделяется на временные сегменты для обработки. position_id_per_seconds (`int`, *kwargs* или `float`, *optional*, по умолчанию `25`) : Количество идентификаторов позиций, выделяемых на каждую секунду видео. Этот параметр управляет временным разрешением позиционных эмбеддингов и используется для выравнивания токенов видео с токенами аудио, когда `use_audio_in_video=True`. return_tensors (`str` или [TensorType](/docs/transformers/main/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения: - `'pt'`: возвращает объекты `torch.Tensor` PyTorch. - `'np'`: возвращает объекты `np.ndarray` NumPy. - ****kwargs** ([ProcessingKwargs](/docs/transformers/main/ru/main_classes/processors#transformers.ProcessingKwargs), *optional*) : Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict. **Возвращает:** `~feature_extraction_utils.BatchFeature` - **data** (`dict`, *необязательный*) -- Словарь списков/массивов/тензоров, возвращаемый методами __call__/pad ('input_values', 'attention_mask' и т. д.). - **tensor_type** (`Union[None, str, TensorType]`, *необязательный*) -- Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy. - **skip_tensor_conversion** (`list[str]` или `set[str]`, *необязательный*) -- Список или множество ключей, которые НЕ следует преобразовывать в тензоры, даже если указан `tensor_type`. ## Qwen2_5OmniForConditionalGeneration[[transformers.Qwen2_5OmniForConditionalGeneration]] #### transformers.Qwen2_5OmniForConditionalGeneration[[transformers.Qwen2_5OmniForConditionalGeneration]] ```python transformers.Qwen2_5OmniForConditionalGeneration(config: Qwen2_5OmniConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3717) **Параметры:** config ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели. Полная модель Qwen2.5Omni — мультимодальная модель, состоящая из трёх подмоделей: - [Qwen2_5OmniThinkerForConditionalGeneration](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerForConditionalGeneration): causal auto-regressive transformer принимает на вход текст, аудио, изображение или видео и предсказывает токены текста. - [Qwen2_5OmniTalkerForConditionalGeneration](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerForConditionalGeneration): Причинный авто-регрессивный трансформер принимает в качестве входных данных скрытые состояния компонента thinker и ответ, а на выходе предсказывает речевые токены. - [Qwen2_5OmniToken2WavModel](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniToken2WavModel): Модель DiT принимает на вход речевые токены и предсказывает мел-спектрограмму, а вокодер BigVGAN принимает на вход мел-спектрограмму и предсказывает звуковой сигнал. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Qwen2_5OmniForConditionalGeneration.forward]] ```python forward(*args, **kwargs) ``` Мок-значение для пути с точками (например, `torch.float32`): цепочки доступа к атрибутам и вызовы работают как пропускные декораторы, `repr` возвращает путь с точками, а использование в качестве базового класса подменяет его обычным базовым классом `type` (PEP 560 `__mro_entries__`), благодаря чему реальные дочерние классы сохраняют обычный метакласс, а `inspect.signature` читает их реальный `__init__`, а не мок. ## Qwen2_5OmniPreTrainedModelForConditionalGeneration[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration]] #### transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration]] ```python transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration(config: PreTrainedConfig, *inputs, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L155) #### get_chunked_index[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration.get_chunked_index]] ```python get_chunked_index(token_indices: Tensor, tokens_per_chunk: int, remove_index: int) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L178) **Параметры:** token_indices (`torch.Tensor` формы `(seq_len, )`) : Монотонно возрастающий список значений индексов токенов. t_ntoken_per_chunk (`int`) : Количество токенов в каждом чанке (используется как пороговое значение размера чанка). remove_index (`int`) Индекс id, который вычитается из `token_indices` перед разбиением на блоки -- **Возвращает:** `list[tuple[int, int]]` Список кортежей, каждый из которых представляет собой начальный (включительно) и конечный (не включительно) индексы фрагмента в `token_indices`. Разбивает список индексов токенов на блоки на основе диапазонов значений токенов. По списку индексов токенов возвращает список кортежей (start, end), представляющих срезы списка, в которых значения токенов попадают в последовательные диапазоны по `t_ntoken_per_chunk` токенов. Например, если `t_ntoken_per_chunk` равно 1000, функция создаст фрагменты так, что: - первый фрагмент содержит значения токенов < 1000, - второй фрагмент содержит значения >= 1000 и < 2000, и так далее. #### get_rope_index[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration.get_rope_index]] ```python get_rope_index(input_ids: typing.Optional[torch.LongTensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, use_audio_in_video: bool = False, audio_seqlens: typing.Optional[torch.LongTensor] = None, second_per_grids: typing.Optional[torch.Tensor] = None) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L215) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется, если вы его предоставляете. image_grid_thw (`torch.LongTensor` формы `(num_images, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого изображения в LLM. video_grid_thw (`torch.LongTensor` формы `(num_videos, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого видео в LLM. attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. use_audio_in_video (`bool`, *необязательный*) : Если установлено в `True`, использовать звук из видео. audio_seqlens (`torch.LongTensor` формы `(num_audios)`, *необязательный*) : Длина формы признаков каждого аудио в LLM. second_per_grids (`torch.LongTensor` формы `(num_videos)`, *необязательный*) : Временной интервал (в секундах) для каждой сетки вдоль временного измерения в 3D-идентификаторах позиций. **Возвращаемое значение:** position_ids (`torch.LongTensor` формы `(3, batch_size, sequence_length)`) mrope_position_deltas (`torch.Tensor` формы `(batch_size)`) Вычислите 3D-индекс rope на основе временного, вертикального и горизонтального размеров изображения и видео в LLM. Пояснение: Каждая последовательность эмбеддингов содержит эмбеддинги изображения и эмбеддинги текста или только эмбеддинги текста. Для последовательности чистого текста встраивание позиционных признаков с вращением (rotary position embedding) не отличается от используемого в современных LLM. Примеры: input_ids: [T T T T T], где T обозначает текст. temporal position_ids: [0, 1, 2, 3, 4] height position_ids: [0, 1, 2, 3, 4] width position_ids: [0, 1, 2, 3, 4] Для последовательности встраиваний изображения и текста мы вычисляем 3D-вращательное позиционное встраивание для визуальной части и 1D-вращательное позиционное встраивание для текстовой части. Примеры: Временна́я ось (Time): 3 патча, представляющие разные сегменты видео во времени. Высота: 2 патча, делящие каждый кадр по вертикали. Ширина: 2 патча, делящие каждый кадр по горизонтали. Также есть несколько важных параметров: fps (Frames Per Second): частота кадров видео, заданная как 1. Это означает, что обрабатывается один кадр в секунду. tokens_per_second: это ключевой параметр. Он определяет, сколько «шагов времени» или «временных токенов» концептуально упаковано в интервал в одну секунду видео. В данном случае у нас 25 токенов в секунду. Таким образом, каждая секунда видео будет представлена 25 отдельными временными точками. По сути, этот параметр определяет временное разрешение. temporal_patch_size: количество кадров, из которых состоит один временной патч. Здесь это 2 кадра. interval: размер шага для временных позиционных ID, рассчитывается как tokens_per_second * temporal_patch_size / fps. В данном случае 25 * 2 / 1 = 50. Это означает, что для каждого временного патча разница во временных позиционных ID составит 50. input_ids: [V V V V V V V V V V V V T T T T T], где V обозначает визуальные токены. vision temporal position_ids: [0, 0, 0, 0, 50, 50, 50, 50, 100, 100, 100, 100] vision height position_ids: [0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1] vision width position_ids: [0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1] text temporal position_ids: [101, 102, 103, 104, 105] text height position_ids: [101, 102, 103, 104, 105] text width position_ids: [101, 102, 103, 104, 105] Здесь мы вычисляем начальные позиционные ID для текста как максимальные визуальные позиционные ID плюс 1. ## Qwen2_5OmniThinkerConfig[[transformers.Qwen2_5OmniThinkerConfig]] #### transformers.Qwen2_5OmniThinkerConfig[[transformers.Qwen2_5OmniThinkerConfig]] ```python transformers.Qwen2_5OmniThinkerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, audio_token_index: int = 151646, image_token_index: int = 151655, video_token_index: int = 151656, position_id_per_seconds: int = 25, seconds_per_chunk: int = 2, audio_start_token_id: int = 151647, audio_end_token_id: int = 151648, user_token_id: int = 872, initializer_range: float = 0.02, tie_word_embeddings: bool = False) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L212) **Параметры:** audio_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *необязательный*) : Объект конфигурации или словарь аудио-бэкбона. vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *необязательный*) : Объект конфигурации или словарь для визуального бэкбона. text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *необязательный*) : Объект конфигурации или словарь текстового бэкбона. audio_token_index (`int`, *необязательный*, по умолчанию `151646`) : Индекс аудио-токена, используемый как плейсхолдер для входного аудио. image_token_index (`int`, *необязательный*, по умолчанию `151655`) : Индекс токена изображения, используемый как плейсхолдер для входных изображений. video_token_index (`int`, *необязательный*, по умолчанию `151656`) : Индекс токена видео, используемый как плейсхолдер для входных видео. position_id_per_seconds (`int`, *optional*, по умолчанию 25) : Приращение идентификатора позиции в секунду. seconds_per_chunk (`int`, *optional*, по умолчанию 2) : Длительность в секундах фрагмента аудио- и видеоданных. audio_start_token_id (`int`, *optional*, по умолчанию 151647) : Индекс токена начала аудио для кодирования аудио-промпта. audio_end_token_id (`int`, *optional*, по умолчанию 151648) : Индекс токена окончания аудио для кодирования аудио-промпта. user_token_id (`int, *optional*, по умолчанию 872) : Индекс токена пользователя для кодирования токена пользователя. initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. tie_word_embeddings (`bool`, *необязательный*, по умолчанию `False`) : Связывать ли веса эмбеддингов согласно отображению `tied_weights_keys` модели. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import Qwen2_5OmniThinkerForConditionalGeneration, Qwen2_5OmniThinkerConfig, Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniVisionEncoderConfig >>> # Initializing a Qwen2_5OmniAudioEncoder config >>> audio_config = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2_5OmniVisionEncoder config >>> vision_config = Qwen2_5OmniVisionEncoderConfig() >>> # Initializing a Qwen2_5OmniTextConfig config >>> text_config = Qwen2_5OmniTextConfig() >>> # Initializing a Qwen2.5OmniThinker configuration >>> configuration = Qwen2_5OmniThinkerConfig(audio_config, vision_config, text_config) >>> # Initializing a model from the Qwen-Omni style configuration >>> model = Qwen2_5OmniThinkerForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniThinkerModel[[transformers.Qwen2_5OmniThinkerModel]] #### transformers.Qwen2_5OmniThinkerModel[[transformers.Qwen2_5OmniThinkerModel]] ```python transformers.Qwen2_5OmniThinkerModel(config: Qwen2_5OmniThinkerConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1668) **Параметры:** config ([Qwen2_5OmniThinkerConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerConfig)) : класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса модели, а только её конфигурацию. Для загрузки весов модели используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained). Модель Qwen2.5OmniThinker, состоящая из аудио-бэкбона и языковой модели. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Qwen2_5OmniThinkerModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, input_features: typing.Optional[torch.Tensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, feature_attention_mask: typing.Optional[torch.Tensor] = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, use_audio_in_video: bool | None = None, video_second_per_grid: typing.Optional[torch.LongTensor] = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1843) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [WhisperFeatureExtractor](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor). Подробности см. в [WhisperFeatureExtractor.__call__()](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor.__call__) ([Qwen2_5OmniProcessor](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) использует [WhisperFeatureExtractor](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor) для обработки аудио). pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`, *необязательно*) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [Qwen2VLImageProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor). Подробности см. в [Qwen2VLImageProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) ([Qwen2_5OmniProcessor](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) использует [Qwen2VLImageProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) для обработки изображений). pixel_values_videos (`torch.Tensor` формы `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *необязательный*) : Тензоры, соответствующие входному видео. Значения пикселей для видео можно получить с помощью [Qwen2VLVideoProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor). Подробности см. в [Qwen2VLVideoProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) ([Qwen2_5OmniProcessor](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) использует [Qwen2VLVideoProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) для обработки видео). image_grid_thw (`torch.LongTensor` формы `(num_images, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого изображения в LLM. video_grid_thw (`torch.LongTensor` формы `(num_videos, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого видео в LLM. attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) feature_attention_mask (`torch.Tensor` формы `(batch_size, feature_sequence_length)`, *необязательный*) : Маска для исключения применения внимания к индексам признаков, заполняющим пустые места. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. audio_feature_lengths (`torch.LongTensor` формы `(num_audios)`, *необязательный*) : Длина формы признаков каждого аудио в LLM. position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). use_audio_in_video (`bool`, *необязательный*) : Использовать ли звуковую дорожку в видео; должно совпадать с параметром в `process_audio_info`. video_second_per_grid (`torch.LongTensor` формы `(num_videos)`, *необязательный*) : Количество секунд на сетку для каждого видео, используется для временного отображения признаков. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *необязательный*) : Словарь, где ключами являются поддерживаемые модальности, а значениями — закодированные выходные данные для данной модальности. Каждый закодированный выход представляет собой кортеж, состоящий из (`pooler_output`, *необязательный*: `last_hidden_states`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `pooler_output` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) — это последовательность мультимодальных признаков энкодера, объединенных в текстовые эмбеддинги. **Возвращает:** [BaseModelOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) или `tuple(torch.Tensor)` [BaseModelOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. Метод forward модели [Qwen2_5OmniThinkerModel](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerModel) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели. Если используется `past_key_values`, выводится только последнее скрытое состояние последовательностей формы `(batch_size, 1, hidden_size)`. - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если `config.is_encoder_decoder=True`, в блоках кросс-внимания), которые можно использовать (см. входной параметр `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. ## Qwen2_5OmniThinkerForConditionalGeneration[[transformers.Qwen2_5OmniThinkerForConditionalGeneration]] #### transformers.Qwen2_5OmniThinkerForConditionalGeneration[[transformers.Qwen2_5OmniThinkerForConditionalGeneration]] ```python transformers.Qwen2_5OmniThinkerForConditionalGeneration(config: Qwen2_5OmniThinkerConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1959) #### forward[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, input_features: typing.Optional[torch.Tensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, feature_attention_mask: typing.Optional[torch.Tensor] = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, use_audio_in_video: bool | None = None, video_second_per_grid: typing.Optional[torch.LongTensor] = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2017) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) input_features (`torch.Tensor` формы `(batch_size, sequence_length, feature_dim)`, *необязательно*) : Тензоры, соответствующие входным аудиособытиям. Аудиособытия можно получить с помощью [WhisperFeatureExtractor](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor). Подробности см. в [WhisperFeatureExtractor.__call__()](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor.__call__) ([Qwen2_5OmniProcessor](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) использует [WhisperFeatureExtractor](/docs/transformers/main/ru/model_doc/whisper#transformers.WhisperFeatureExtractor) для обработки аудио). pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`, *необязательно*) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [Qwen2VLImageProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor). Подробности см. в [Qwen2VLImageProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) ([Qwen2_5OmniProcessor](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) использует [Qwen2VLImageProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) для обработки изображений). pixel_values_videos (`torch.Tensor` формы `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *необязательный*) : Тензоры, соответствующие входному видео. Значения пикселей для видео можно получить с помощью [Qwen2VLVideoProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor). Подробности см. в [Qwen2VLVideoProcessor.__call__()](/docs/transformers/main/ru/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) ([Qwen2_5OmniProcessor](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) использует [Qwen2VLVideoProcessor](/docs/transformers/main/ru/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) для обработки видео). image_grid_thw (`torch.LongTensor` формы `(num_images, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого изображения в LLM. video_grid_thw (`torch.LongTensor` формы `(num_videos, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого видео в LLM. attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) feature_attention_mask (`torch.Tensor` формы `(batch_size, feature_sequence_length)`, *необязательный*) : Маска для исключения применения внимания к индексам признаков, заполняющим пустые места. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. audio_feature_lengths (`torch.LongTensor` формы `(num_audios)`, *необязательный*) : Длина формы признаков каждого аудио в LLM. position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне `[0, ..., config.vocab_size]` или равняться -100 (см. docstring `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). use_audio_in_video (`bool`, *необязательный*) : Использовать ли звуковую дорожку в видео; должно совпадать с параметром в `process_audio_info`. video_second_per_grid (`torch.LongTensor` формы `(num_videos)`, *необязательный*) : Количество секунд на сетку для каждого видео, используется для временного отображения признаков. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *необязательный*) : Словарь, где ключами являются поддерживаемые модальности, а значениями — закодированные выходные данные для данной модальности. Каждый закодированный выход представляет собой кортеж, состоящий из (`pooler_output`, *необязательный*: `last_hidden_states`, *необязательный*: `hidden_states`, *необязательный*: `attentions`) `pooler_output` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) — это последовательность мультимодальных признаков энкодера, объединенных в текстовые эмбеддинги. **Возвращает:** [CausalLMOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) или `tuple(torch.Tensor)` Объект [CausalLMOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. Метод forward класса [Qwen2_5OmniThinkerForConditionalGeneration](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerForConditionalGeneration) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена). - **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax). - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. Пример: ```python >>> from transformers import Qwen2_5OmniProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> thinker = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> conversations = [ >>> {'role': 'system', 'content': 'You are a helpful voice chat bot, and please respond to me in a casual conversation manner using random voice.'}, >>> {"role": "user", "content": [ >>> {"type": "image", "image": "https://www.ilankelman.org/stopsigns/australia.jpg"}, >>> {"type": "audio", "audio": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/audio/glass_breaking.mp3"}, >>> ]}, >>> ] >>> inputs = processor.apply_chat_template( conversations, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt" ) >>> # Generate >>> generation = thinker.generate(**inputs, max_new_tokens=2048) >>> generate_ids = generation[:, inputs.input_ids.size(1):] >>> response = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] ``` #### get_audio_features[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.get_audio_features]] ```python get_audio_features(input_features: Tensor, feature_attention_mask: typing.Optional[torch.LongTensor] = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1999) **Параметры:** input_features (`torch.Tensor`) : тензоры, соответствующие входным аудио. feature_attention_mask (`torch.LongTensor`, *необязательный*) : Маска для исключения применения внимания к индексам заполняющих признаков. Значения маски выбираются из `[0, 1]`: audio_feature_lengths (`torch.LongTensor` формы `(num_audios)`, *необязательный*) : Длина формы признаков каждого аудио в LLM. **Возвращает:** [BaseModelOutputWithPooling](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или `tuple(torch.Tensor)` Объект [BaseModelOutputWithPooling](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. - **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели. - **pooler_output** (`torch.Tensor` формы `(batch_size, hidden_size)`) -- Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. Пример: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ``` #### get_image_features[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.get_image_features]] ```python get_image_features(pixel_values: Tensor, image_grid_thw: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1986) **Параметры:** pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`) : тензоры, соответствующие входным изображениям. image_grid_thw (`torch.LongTensor` формы `(num_images, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого изображения в LLM. **Возвращает:** [BaseModelOutputWithPooling](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или `tuple(torch.Tensor)` Объект [BaseModelOutputWithPooling](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. - **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели. - **pooler_output** (`torch.Tensor` формы `(batch_size, hidden_size)`) -- Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. Пример: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ``` #### get_video_features[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.get_video_features]] ```python get_video_features(pixel_values_videos: Tensor, video_grid_thw: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1973) **Параметры:** pixel_values_videos (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`) : тензоры, соответствующие входным видео. video_grid_thw (`torch.LongTensor` формы `(num_videos, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого видео в LLM. **Возвращает:** [BaseModelOutputWithPooling](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или `tuple(torch.Tensor)` Объект [BaseModelOutputWithPooling](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. - **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели. - **pooler_output** (`torch.Tensor` формы `(batch_size, hidden_size)`) -- Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. Пример: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ``` ## Qwen2_5OmniThinkerTextModel[[transformers.Qwen2_5OmniThinkerTextModel]] #### transformers.Qwen2_5OmniThinkerTextModel[[transformers.Qwen2_5OmniThinkerTextModel]] ```python transformers.Qwen2_5OmniThinkerTextModel(config: Qwen2_5OmniTextConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1548) **Параметры:** config ([Qwen2_5OmniTextConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTextConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели. Модель Qwen2 5 Omni Text без дополнительных компонентов, выводящая необработанные скрытые состояния (hidden-states) без какого-либо специализированного слоя (head) сверху. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Qwen2_5OmniThinkerTextModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1575) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). **Возвращает:** [BaseModelOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) или `tuple(torch.Tensor)` [BaseModelOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. Метод forward модели [Qwen2_5OmniThinkerTextModel](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerTextModel) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели. Если используется `past_key_values`, выводится только последнее скрытое состояние последовательностей формы `(batch_size, 1, hidden_size)`. - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если `config.is_encoder_decoder=True`, в блоках кросс-внимания), которые можно использовать (см. входной параметр `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. ## Qwen2_5OmniTalkerConfig[[transformers.Qwen2_5OmniTalkerConfig]] #### transformers.Qwen2_5OmniTalkerConfig[[transformers.Qwen2_5OmniTalkerConfig]] ```python transformers.Qwen2_5OmniTalkerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_token_index: int = 151646, image_token_index: int = 151655, video_token_index: int = 151656, vocab_size: int = 8448, tts_text_start_token_id: int = 151860, tts_text_end_token_id: int = 151861, tts_text_pad_token_id: int = 151859, tts_codec_start_token_id: int = 8293, tts_codec_end_token_id: int = 8294, tts_codec_pad_token_id: int = 8292, tts_codec_mask_token_id: int = 8296, vision_start_token_id: int = 151652, vision_end_token_id: int = 151653, embedding_size: int = 3584, hidden_size: int = 3584, intermediate_size: int = 18944, num_hidden_layers: int = 28, num_attention_heads: int = 28, num_key_value_heads: int = 4, hidden_act: str = 'silu', max_position_embeddings: int = 32768, rms_norm_eps: float = 1e-06, head_dim: int = 128, use_cache: bool = True, tie_word_embeddings: bool = False, use_sliding_window: bool = False, sliding_window: int | None = 32768, max_window_layers: int = 28, attention_dropout: float | int = 0.0, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, position_id_per_seconds: int = 25, seconds_per_chunk: int = 2, audio_start_token_id: int = 151647, audio_end_token_id: int = 151648, initializer_range: float = 0.02, spatial_merge_size: int = 2, layer_types: list[str] | None = None, pad_token_id: int | None = None) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L278) **Параметры:** audio_token_index (`int`, *необязательный*, по умолчанию `151646`) : Индекс аудио-токена, используемый как плейсхолдер для входного аудио. image_token_index (`int`, *необязательный*, по умолчанию `151655`) : Индекс токена изображения, используемый как плейсхолдер для входных изображений. video_token_index (`int`, *необязательный*, по умолчанию `151656`) : Индекс токена видео, используемый как плейсхолдер для входных видео. vocab_size (`int`, *необязательный*, по умолчанию `8448`) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`. tts_text_start_token_id (`int`, *optional*, по умолчанию 151860) : Индекс токена начала текста tts для кодирования начала tts-текста. tts_text_end_token_id (`int`, *optional*, по умолчанию 151861) : Индекс токена конца текста tts для кодирования конца tts-текста. tts_text_pad_token_id (`int`, *optional*, по умолчанию 151859) : Индекс токена pad для текста tts, используемый для кодирования pad в тексте tts. tts_codec_start_token_id (`int`, *optional*, по умолчанию 8293) : Индекс начального токена tts-кодека для кодирования начала tts-кодека. tts_codec_end_token_id (`int`, *optional*, по умолчанию 8294) : Индекс токена конца tts codec для кодирования конца tts codec. tts_codec_pad_token_id (`int`, *optional*, по умолчанию 8292) : Индекс токена pad для tts codec, используемый для кодирования pad в tts codec. tts_codec_mask_token_id (`int`, *optional*, по умолчанию 8296) : Индекс токена маски tts codec для кодирования маски tts codec. vision_start_token_id (`int`, *необязательный*, по умолчанию `151652`) : Идентификатор токена, отмечающий начало визуального сегмента в мультимодальной входной последовательности. vision_end_token_id (`int`, *необязательный*, по умолчанию `151653`) : Идентификатор токена, отмечающий конец визуального сегмента в мультимодальной входной последовательности. embedding_size (`int`, *необязательный*, по умолчанию `3584`) : Размерность эмбеддингов и скрытых состояний. hidden_size (`int`, *optional*, по умолчанию `3584`) : Размерность скрытых представлений. intermediate_size (`int`, *необязательный*, по умолчанию `18944`) : Размерность представлений MLP. num_hidden_layers (`int`, *необязательный*, по умолчанию `28`) : Количество скрытых слоев в декодере Transformer. num_attention_heads (`int`, *необязательный*, по умолчанию `28`) : Количество головок внимания для каждого слоя внимания в декодере Transformer. num_key_value_heads (`int`, *optional*, по умолчанию `4`) : Это количество ключевых и value-голов, которое следует использовать для реализации Grouped Query Attention. Если `num_key_value_heads=num_attention_heads`, модель будет использовать Multi Head Attention (MHA), если `num_key_value_heads=1` — Multi Query Attention (MQA), в противном случае используется GQA. При конвертации multi-head checkpoint в GQA checkpoint каждая группа ключевых и value-голов должна быть построена путем усреднения (meanpooling) всех исходных голов в этой группе. Подробнее см. в [этой статье](https://huggingface.co/papers/2305.13245). Если значение не указано, по умолчанию используется `num_attention_heads`. hidden_act (`str`, *необязательный*, по умолчанию `silu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д. max_position_embeddings (`int`, *необязательный*, по умолчанию `32768`) : Максимальная длина последовательности, с которой может использоваться эта модель. rms_norm_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Значение epsilon, используемое слоями нормализации rms. head_dim (`int`, *необязательный*, по умолчанию `128`) : Размер измерения головы внимания. Если None, по умолчанию будет hidden_size // num_attention_heads use_cache (`bool`, *необязательный*, по умолчанию `True`) : Следует ли модели возвращать последние значения внимания key/values (не используется во всех моделях). Актуально только при `config.is_decoder=True` или если модель является генеративной моделью только с декодером. tie_word_embeddings (`bool`, *необязательный*, по умолчанию `False`) : Связывать ли веса эмбеддингов согласно отображению `tied_weights_keys` модели. use_sliding_window (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли внимание со скользящим окном. sliding_window (`int`, *optional*, по умолчанию `32768`) : Размер окна скользящего внимания. Если `None`, скользящее окно не применяется. max_window_layers (`int`, *optional*, по умолчанию `28`) : Количество слоев, использующих полное внимание. Первые `max_window_layers` слоев будут использовать полное внимание, а все последующие слои будут использовать SWA (Sliding Window Attention). attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент dropout для вероятностей внимания. rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Словарь, содержащий параметры конфигурации для вложений RoPE. Словарь должен содержать значение для `rope_theta` и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными `max_position_embeddings`. position_id_per_seconds (`int`, *optional*, по умолчанию 25) : Приращение идентификатора позиции в секунду. seconds_per_chunk (`int`, *optional*, по умолчанию 2) : Длительность в секундах фрагмента аудио- и видеоданных. audio_start_token_id (`int`, *optional*, по умолчанию 151647) : Индекс токена начала аудио для кодирования аудио-промпта. audio_end_token_id (`int`, *optional*, по умолчанию 151648) : Индекс токена окончания аудио для кодирования аудио-промпта. initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов. spatial_merge_size (`int`, *optional*, по умолчанию `2`) : Размер пространственного окна слияния, используемого для уменьшения количества визуальных токенов путём объединения соседних патчей. layer_types (`list[str]`, *необязательный*) : Список, который явно сопоставляет каждый индекс слоя с его типом. Если не указан, будет автоматически сгенерирован на основе значений конфигурации. pad_token_id (`int`, *необязательный*) : Идентификатор токена, используемый для выравнивания в словаре. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import Qwen2_5OmniTalkerForConditionalGeneration, Qwen2_5OmniThinkerConfig, Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniVisionEncoderConfig >>> # Initializing a Qwen2_5OmniAudioEncoder config >>> audio_config = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2 config >>> text_config = Qwen2Config() >>> # Initializing a Qwen2_5Omni configuration >>> configuration = Qwen2_5OmniThinkerConfig(audio_config, text_config) >>> # Initializing a model from the qwen2-audio style configuration >>> model = Qwen2_5OmniTalkerForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniTalkerForConditionalGeneration[[transformers.Qwen2_5OmniTalkerForConditionalGeneration]] #### transformers.Qwen2_5OmniTalkerForConditionalGeneration[[transformers.Qwen2_5OmniTalkerForConditionalGeneration]] ```python transformers.Qwen2_5OmniTalkerForConditionalGeneration(config: Qwen2_5OmniTalkerConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2300) #### forward[[transformers.Qwen2_5OmniTalkerForConditionalGeneration.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, thinker_reply_part: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, input_text_ids: typing.Optional[torch.LongTensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, use_audio_in_video: bool | None = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, video_second_per_grid: typing.Optional[torch.LongTensor] = None, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2334) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. thinker_reply_part (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательный*) : Скрытые состояния из вывода модели thinker, представляющие текстовую часть ответа, подлежащую обработке. inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). input_text_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательный*) : Идентификаторы входных токенов для текстового контента, используемые для вычисления позиций в мультимодальных контекстах. image_grid_thw (`torch.LongTensor` формы `(num_images, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого изображения в LLM. video_grid_thw (`torch.LongTensor` формы `(num_videos, 3)`, *необязательный*) : Временное, высотное и широтное размеры формы признаков каждого видео в LLM. use_audio_in_video (`bool`, *необязательный*) : Использовать ли звуковую дорожку в видео; должно совпадать с параметром в `process_audio_info`. audio_feature_lengths (`torch.LongTensor` формы `(num_audios)`, *необязательный*) : Длина формы признаков каждого аудио в LLM. video_second_per_grid (`torch.LongTensor` формы `(num_videos)`, *необязательный*) : Количество секунд на сетку для каждого видео, используется для временного отображения признаков. **Возвращает:** `Qwen2_5OmniTalkerCausalLMOutputWithPast` или `tuple(torch.Tensor)` Объект `Qwen2_5OmniTalkerCausalLMOutputWithPast` или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. Метод forward класса [Qwen2_5OmniTalkerForConditionalGeneration](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerForConditionalGeneration) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена). - **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax). - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. - **thinker_reply_part** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Скрытые состояния из модели thinker, используемые в качестве входа для модели talker. Они представляют закодированный ответ, на основе которого модель talker генерирует речевые токены. Пример: ```python >>> from io import BytesIO >>> from urllib.request import urlopen >>> import librosa >>> from transformers import AutoProcessor, Qwen2_5OmniTalkerForConditionalGeneration >>> model = Qwen2_5OmniTalkerForConditionalGeneration.from_pretrained("Qwen/Qwen2-Audio-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2-Audio-7B") >>> prompt = "<|audio_bos|><|AUDIO|><|audio_eos|>Generate the caption in English:" >>> url = "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/audio/glass_breaking.mp3" >>> audio, _ = librosa.load(BytesIO(urlopen(url).read()), sr=self.processor.feature_extractor.sampling_rate) >>> inputs = processor(text=prompt, audio=audio, return_tensors="pt") >>> # Generate >>> generate_ids = model.generate(**inputs, max_length=30) >>> processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] "Generate the caption in English: Glass is breaking." ``` ## Qwen2_5OmniTalkerModel[[transformers.Qwen2_5OmniTalkerModel]] #### transformers.Qwen2_5OmniTalkerModel[[transformers.Qwen2_5OmniTalkerModel]] ```python transformers.Qwen2_5OmniTalkerModel(config: Qwen2_5OmniTalkerConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2185) **Параметры:** config ([Qwen2_5OmniTalkerConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerConfig)) : класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained). Модель Qwen2 5 Omni без дополнительных компонентов, выводящая необработанные скрытые состояния (hidden-states) без какого-либо специализированного слоя (head) сверху. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Qwen2_5OmniTalkerModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2212) **Параметры:** input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/main/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/main/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids) attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`: - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**. [Что такое маски внимания?](../glossary#attention-mask) position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`. [Что такое position IDs?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/main/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`). **Возвращает:** [BaseModelOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) или `tuple(torch.Tensor)` [BaseModelOutputWithPast](/docs/transformers/main/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([Qwen2_5OmniConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) и входных данных. Метод forward модели [Qwen2_5OmniTalkerModel](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerModel) переопределяет специальный метод `__call__`. Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует. - **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели. Если используется `past_key_values`, выводится только последнее скрытое состояние последовательностей формы `(batch_size, 1, hidden_size)`. - **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/main/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache). Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если `config.is_encoder_decoder=True`, в блоках кросс-внимания), которые можно использовать (см. входной параметр `past_key_values`) для ускорения последовательного декодирования. - **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания. - **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`. Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания. ## Qwen2_5OmniToken2WavConfig[[transformers.Qwen2_5OmniToken2WavConfig]] #### transformers.Qwen2_5OmniToken2WavConfig[[transformers.Qwen2_5OmniToken2WavConfig]] ```python transformers.Qwen2_5OmniToken2WavConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, dit_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, bigvgan_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L484) **Параметры:** dit_config (`DiT_Args`, *необязательный*) : Класс конфигурации для модуля Diffusion Transformer (DiT), отвечающего за генерацию мел-спектрограмм. bigvgan_config (`BigVGAN_Args`, *необязательный*) : Класс конфигурации для модуля BigVGAN, отвечающего за преобразование мел-спектрограмм в звуковые волны. Это класс конфигурации для хранения настроек модели Qwen2 5 OmniModel. Он используется для создания модели Qwen2 5 Omni в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/main/ru/main_classes/configuration#transformers.PreTrainedConfig). Пример: ```python >>> from transformers import Qwen2_5OmniToken2WavModel, DiT_Args, BigVGAN_Args >>> # Initialize DiT configuration >>> dit_config = DiT_Args( ... dim=1024, ... depth=22, ... heads=16, ... ff_mult=2 ... ) >>> # Initialize BigVGAN configuration >>> bigvgan_config = BigVGAN_Args( ... mel_dim=80, ... upsample_rates=[5,3,2,2,2,2] ... ) >>> # Initialize main configuration >>> config = Qwen2_5OmniToken2WavConfig(dit_config, bigvgan_config) >>> # Initialize model with config >>> model = Qwen2_5OmniToken2Wav(config) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniToken2WavModel[[transformers.Qwen2_5OmniToken2WavModel]] #### transformers.Qwen2_5OmniToken2WavModel[[transformers.Qwen2_5OmniToken2WavModel]] ```python transformers.Qwen2_5OmniToken2WavModel(config: Qwen2_5OmniToken2WavConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3646) **Параметры:** config ([Qwen2_5OmniToken2WavConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniToken2WavConfig)) : класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса модели, а только её конфигурацию. Для загрузки весов модели используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained). Полная модель Qwen2.5Omni Token2Wav. Состоит из модели DiT, которая принимает на вход речевые токены и предсказывает мел-спектрограмму, и вокодера BigVGAN, который принимает на вход мел-спектрограмму и предсказывает звуковой сигнал. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. #### forward[[transformers.Qwen2_5OmniToken2WavModel.forward]] ```python forward(code, conditioning, reference_mel, num_steps = 10, guidance_scale = 0.5, sway_coefficient = -1.0, **kwargs) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3675) Генерирует звуковую волну на основе входного кода и параметров контекста. ## Qwen2_5OmniToken2WavDiTModel[[transformers.Qwen2_5OmniToken2WavDiTModel]] #### transformers.Qwen2_5OmniToken2WavDiTModel[[transformers.Qwen2_5OmniToken2WavDiTModel]] ```python transformers.Qwen2_5OmniToken2WavDiTModel(config: Qwen2_5OmniDiTConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3475) **Параметры:** config ([Qwen2_5OmniDiTConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniDiTConfig)) : класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained). Полная модель Qwen2.5Omni Token2WavDiT. Она принимает на вход речевые токены и предсказывает мел-спектрограмму. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением. ## Qwen2_5OmniToken2WavBigVGANModel[[transformers.Qwen2_5OmniToken2WavBigVGANModel]] #### transformers.Qwen2_5OmniToken2WavBigVGANModel[[transformers.Qwen2_5OmniToken2WavBigVGANModel]] ```python transformers.Qwen2_5OmniToken2WavBigVGANModel(config: Qwen2_5OmniBigVGANConfig) ``` [Источник](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3337) **Параметры:** config ([Qwen2_5OmniBigVGANConfig](/docs/transformers/main/ru/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniBigVGANConfig)) : класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод [from_pretrained()](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained). Полная модель Qwen2.5Omni Token2WavBigVGAN. Она принимает на вход мел-спектрограмму и предсказывает звуковой сигнал. Эта модель наследуется от [PreTrainedModel](/docs/transformers/main/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса. Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.