# VideoPrism

VideoPrism 모델은 Google DeepMind의 논문 [VideoPrism: A Foundational Visual Encoder for Video Understanding](https://huggingface.co/papers/2402.13217)([블로그 포스트](https://research.google/blog/videoprism-a-foundational-visual-encoder-for-video-understanding/))에서 제안되었습니다.

VideoPrism은 단일 고정(frozen) 모델로 다양한 영상 이해 작업을 처리하는 범용 영상 인코더입니다. 이 모델은 3,600만 개의 고품질 영상-캡션 쌍과 노이즈가 있는 병렬 텍스트(예: ASR 전사본)가 포함된 5억 8,200만 개의 영상 클립으로 구성된 대규모 이질적 코퍼스에서 사전 학습되었습니다. 사전 학습 방식은 의미론적 영상 임베딩의 전역-로컬 증류(global-local distillation)와 토큰 셔플링(token shuffling) 스킴을 통해 마스크 오토인코딩(masked autoencoding)을 개선하여, 모델이 텍스트와 연관된 정보를 활용하면서 주로 영상 모달리티에 집중할 수 있도록 합니다. VideoPrism은 웹 영상 질의응답부터 과학을 위한 컴퓨터 비전까지 네 가지 광범위한 작업 그룹에 걸친 33개의 영상 이해 벤치마크 중 31개에서 최첨단(state-of-the-art) 성능을 달성했습니다.

    

모든 원본 VideoPrism 체크포인트는 [VideoPrism](https://huggingface.co/collections/google/videoprism) 컬렉션에서 찾을 수 있습니다.

참고:

- VideoPrism은 인자화된 공간-시간 인코더 아키텍처를 사용하며, 영상을 별도의 공간 트랜스포머와 시간 트랜스포머를 통해 처리합니다.
- `VideoPrismClipModel`을 통해 모델은 비디오 인코더와 텍스트 인코더를 결합하여 비디오-텍스트 대비 학습을 지원합니다. 이 모델에는 `VideoPrismConfig`를 사용해야 합니다.
- 비디오 분류 작업에는 비디오 인코더 위에 분류 헤드를 추가하는 `VideoPrismForVideoClassification`를 사용합니다. 이 모델에는 `VideoPrismVisionConfig`를 반드시 사용해야 합니다.
- 비전 인코더는 `VideoPrismVisionModel`을 통해 단독으로 사용되어 비디오 특징을 추출할 수 있습니다. 이 모델에는 `VideoPrismVisionConfig`를 사용해야 합니다.
- 기본 모델의 기본 입력 해상도는 288x288 픽셀이며, 비디오 클립당 프레임 수는 기본 모델의 경우 16개, 대형 모델의 경우 8개입니다. interpolate_pos_encoding=True를 설정하면 사용자 지정 해상도와 클립당 프레임 수로 모델을 사용할 수 있습니다.

이 모델은 [MHRDYN7](https://github.com/MHRDYN7)이(가) 기여하고 [vasqu](https://github.com/vasqu) 및 [zucchini-nlp](https://github.com/zucchini-nlp)가 검토했습니다. 원본 코드는 [여기](https://github.com/google-deepmind/videoprism)에서 찾을 수 있습니다.

## 사용 예시

아래 스니펫은 `AutoModel` 클래스를 사용하여 VideoPrismVisionModel을 로드하여 특징 추출을 수행하는 방법을 보여줍니다.

```py
import torch
from transformers import AutoModel, AutoVideoProcessor

processor = AutoVideoProcessor.from_pretrained("google/videoprism-base-f16r288", revision="refs/pr/4")
model = AutoModel.from_pretrained(
    "google/videoprism-base-f16r288",
    revision="refs/pr/4",
    device_map="auto",
    # use "flash_attention_2" for faster inference on supported hardware
    # attn_implementation="flash_attention_2" 
)

video_url = "https://huggingface.co/datasets/nateraw/kinetics-mini/resolve/main/val/archery/-Qz25rXdMjE_000014_000024.mp4"

# when do_sample_frames=True, 16/8 frames will be sampled by default depending on the checkpoint size base/large.
processed_video_inputs = processor(videos=[video_url], return_metadata=True, do_sample_frames=True)
video_metadata = processed_video_inputs["video_metadata"]
video_inputs = processed_video_inputs["pixel_values_videos"].to(model.device)
outputs = model(video_inputs)

# VideoPrism encoder outputs
encoder_outputs = outputs.last_hidden_state

```

## VideoPrismVisionConfig[[transformers.VideoPrismVisionConfig]]

#### transformers.VideoPrismVisionConfig[[transformers.VideoPrismVisionConfig]]

```python
transformers.VideoPrismVisionConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, image_size: int | list[int] | tuple[int, int] = 288, num_frames: int = 16, tubelet_size: list[int] | tuple[int, ...] = (1, 18, 18), num_channels: int = 3, hidden_size: int = 768, num_attention_heads: int = 12, intermediate_size: int = 3072, hidden_act: str = 'gelu_python', hidden_dropout_prob: float | int = 0.0, attention_probs_dropout_prob: float | int = 0.0, initializer_range: float = 0.02, layer_norm_eps: float = 1e-06, qkv_bias: bool = True, num_spatial_layers: int = 12, num_temporal_layers: int = 4, attn_logit_softcapping: float = 50.0, num_auxiliary_layers: int = 2, apply_l2norm: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/configuration_videoprism.py#L30)

**매개변수:**

image_size (`Union[int, list[int], tuple[int, int]]`, *선택 사항*, 기본값 `288`) : 각 이미지의 크기(해상도).

num_frames (`int`, *선택 사항*, 기본값 16) : 입력 비디오의 프레임 수입니다.

tubelet_size (`List[int]`, *선택 사항*, 기본값 `[1, 18, 18]`) : tubelet patch의 크기입니다.

num_channels (`int`, *선택 사항*, 기본값 `3`) : 입력 채널의 수입니다.

hidden_size (`int`, *선택 사항*, 기본값 `768`) : 숨겨진 표현의 차원.

num_attention_heads (`int`, *선택 사항*, 기본값 `12`) : Transformer decoder의 각 attention layer에 사용되는 attention head의 수입니다.

intermediate_size (`int`, *선택 사항*, 기본값 `3072`) : MLP 표현의 차원.

hidden_act (`str`, *선택 사항*, 기본값 `gelu_python`) : 디코더의 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등.

hidden_dropout_prob (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : 임베딩, 인코더, 풀러의 모든 완전 연결 계층에 적용되는 dropout 확률입니다.

attention_probs_dropout_prob (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다.

initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.

layer_norm_eps (`float`, *선택 사항*, 기본값 `1e-06`) : 레이어 정규화 레이어에서 사용되는 epsilon 값입니다.

qkv_bias (`bool`, *선택 사항*, 기본값 `True`) : 쿼리, 키, 값에 bias를 추가할지 여부.

num_spatial_layers (`int`, *선택 사항*, 기본값 12) : 공간 변환 블록의 수.

num_temporal_layers (`int`, *선택 사항*, 기본값 4) : 시간적 transformer 블록의 수.

attn_logit_softcapping (`float`, *선택 사항*, 기본값 50.0) : attention logits의 softcapping 상수입니다.

num_auxiliary_layers (`int`, *선택 사항*, 기본값 2) : 보조 레이어의 수입니다. VideoPrismClipModel의 일부인 VideoPrismVideoModel에서 사용됩니다.

apply_l2norm (`bool`, *선택 사항*, 기본값 `True`) : 출력에 L2 정규화를 적용할지 여부입니다. VideoPrismClipModel의 일부인 VideoPrismVideoModel에서 사용됩니다.

이것은 VideoPrismClipModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Videoprism 모델을 초기화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 초기화하면 [google/videoprism-base-f16r288](https://huggingface.co/google/videoprism-base-f16r288)와 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

## VideoPrismTextConfig[[transformers.VideoPrismTextConfig]]

#### transformers.VideoPrismTextConfig[[transformers.VideoPrismTextConfig]]

```python
transformers.VideoPrismTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32000, hidden_size: int = 768, intermediate_size: int = 3072, num_hidden_layers: int = 12, num_attention_heads: int = 12, max_position_embeddings: int = 64, hidden_act: str = 'relu', layer_norm_eps: float = 1e-06, pad_token_id: int | None = 0, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None, attention_probs_dropout_prob: float | int = 0.0, apply_l2norm: bool = True, qkv_bias: bool = True, hidden_dropout_prob: float = 0.0, initializer_range: float = 0.02, attn_logit_softcapping: float = 50.0)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/configuration_videoprism.py#L72)

**매개변수:**

vocab_size (`int`, *선택 사항*, 기본값 `32000`) : 모델의 어휘 크기입니다. `input_ids`로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다.

hidden_size (`int`, *선택 사항*, 기본값 `768`) : 숨겨진 표현의 차원.

intermediate_size (`int`, *선택 사항*, 기본값 `3072`) : MLP 표현의 차원.

num_hidden_layers (`int`, *선택 사항*, 기본값 `12`) : Transformer decoder의 숨겨진 레이어 수입니다.

num_attention_heads (`int`, *선택 사항*, 기본값 `12`) : Transformer decoder의 각 attention layer에 사용되는 attention head의 수입니다.

max_position_embeddings (`int`, *선택 사항*, 기본값 `64`) : 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다.

hidden_act (`str`, *선택 사항*, 기본값 `relu`) : 디코더의 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등.

layer_norm_eps (`float`, *선택 사항*, 기본값 `1e-06`) : 레이어 정규화 레이어에서 사용되는 epsilon 값입니다.

pad_token_id (`int`, *선택 사항*, 기본값 `0`) : 어휘에서 패딩에 사용되는 토큰 ID입니다.

bos_token_id (`int`, *선택 사항*) : 어휘에서 스트림 시작에 사용되는 토큰 ID입니다.

eos_token_id (`Union[int, list[int]]`, *선택*) : 어휘에서 스트림 종료에 사용되는 토큰 ID입니다.

attention_probs_dropout_prob (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다.

apply_l2norm (`bool`, *선택 사항*, 기본값 `True`) : VideoPrismTextEncoder의 출력에 L2 정규화를 적용할지 여부입니다.

qkv_bias (`bool`, *선택 사항*, 기본값 `True`) : 쿼리, 키, 값에 bias를 추가할지 여부.

hidden_dropout_prob (`float`, *선택 사항*, 기본값 `0.0`) : 임베딩, 인코더, 풀러의 모든 완전 연결 계층에 적용되는 드롭아웃 확률입니다.

initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.

attn_logit_softcapping (`float`, *선택 사항*, 기본값 50.0) : attention logits의 softcapping 상수입니다.

이것은 VideoPrismClipModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Videoprism 모델을 초기화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 초기화하면 [google/videoprism-lvt-base-f16r288](https://huggingface.co/google/videoprism-lvt-base-f16r288)와 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

## VideoPrismConfig[[transformers.VideoPrismConfig]]

#### transformers.VideoPrismConfig[[transformers.VideoPrismConfig]]

```python
transformers.VideoPrismConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/configuration_videoprism.py#L105)

**매개변수:**

text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *선택*) : 텍스트 백본의 config 객체 또는 사전입니다.

vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *선택*) : 비전 백본의 config 객체 또는 사전 정의된 config 딕셔너리입니다.

이것은 VideoPrismClipModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Videoprism 모델을 초기화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 초기화하면 [google/videoprism-lvt-base-f16r288](https://huggingface.co/google/videoprism-lvt-base-f16r288)와 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

예:

```python
>>> from transformers import VideoPrismClipModel, VideoPrismConfig

>>> # Initializing a VideoPrismConfig with default values
>>> configuration = VideoPrismConfig()

>>> # Initializing a VideoPrismClipModel with the configuration
>>> model = VideoPrismClipModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## VideoPrismTokenizer[[transformers.VideoPrismTokenizer]]

#### transformers.VideoPrismTokenizer[[transformers.VideoPrismTokenizer]]

```python
transformers.VideoPrismTokenizer(vocab: str | list[tuple[str, float]] | None = None, eos_token = '</s>', unk_token = '<unk>', pad_token = '<pad>', _spm_precompiled_charsmap = None, extra_ids = 100, additional_special_tokens = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/tokenization_videoprism.py#L33)

VideoPrism 토크나이저를 생성합니다. 이는 기본적으로 시퀀스 끝에 EOS 토큰을 추가하는 후처리기가 없는 T5 토크나이저입니다.

이 토크나이저는 대부분의 주요 메서드를 포함하고 있는 [T5Tokenizer](/docs/transformers/v5.23.0/ko/model_doc/t5#transformers.T5Tokenizer)를 상속받습니다. 해당 메서드에 대한 자세한 정보는 이 상위 클래스를 참고하세요.

#### get_sentinel_token_ids[[transformers.VideoPrismTokenizer.get_sentinel_token_ids]]

```python
get_sentinel_token_ids()
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/tokenization_videoprism.py#L121)

센티널 토큰의 토큰 ID를 가져옵니다.

#### get_sentinel_tokens[[transformers.VideoPrismTokenizer.get_sentinel_tokens]]

```python
get_sentinel_tokens()
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/tokenization_videoprism.py#L115)

additional_special_tokens에서 sentinel 토큰(extra_id 토큰) 목록을 가져옵니다.

## VideoPrismProcessor[[transformers.VideoPrismProcessor]]

#### transformers.VideoPrismProcessor[[transformers.VideoPrismProcessor]]

```python
transformers.VideoPrismProcessor(video_processor = None, tokenizer = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/processing_videoprism.py#L28)

**매개변수:**

video_processor (`LlavaOnevisionVideoProcessor`) : 비디오 프로세서가 필수 입력입니다.

tokenizer (`VideoPrismTokenizer`) : 토크나이저는 필수 입력입니다.

비디오 프로세서와 토크나이저를 단일 프로세서로 래핑하는 VideoPrismProcessor를 생성합니다.

[VideoPrismProcessor](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismProcessor)는 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)와 [VideoPrismTokenizer](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismTokenizer)의 모든 기능을 제공합니다. 자세한 내용은 [~LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)와 [~VideoPrismTokenizer](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismTokenizer)를 참고하세요.

## VideoPrismVisionModel[[transformers.VideoPrismVisionModel]]

#### transformers.VideoPrismVisionModel[[transformers.VideoPrismVisionModel]]

```python
transformers.VideoPrismVisionModel(config: VideoPrismVisionConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L526)

**매개변수:**

config ([VideoPrismVisionConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismVisionConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

VideoPrism 비전 인코더의 기본 버전으로, 상단에 특정 헤드가 없이 원시 hidden-states를 출력합니다. 이 모델은 VideoPrismVideoModel에서 백본 인코더로 사용됩니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.VideoPrismVisionModel.forward]]

```python
forward(pixel_values_videos: typing.Optional[torch.Tensor] = None, interpolate_pos_encoding: bool | None = False, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L547)

**매개변수:**

pixel_values_videos (`torch.Tensor`, shape `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *선택 사항*) : 입력 비디오에 해당하는 텐서입니다. 비디오의 픽셀 값은 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [LlavaOnevisionVideoProcessor.__call__()](/docs/transformers/v5.23.0/ko/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__)를 참조하세요 ([VideoPrismProcessor](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismProcessor)는 비디오 처리에 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용합니다).

interpolate_pos_encoding (`bool`, *선택 사항*, 기본값 `False`) : 사전 학습된 위치 인코딩을 보간할지 여부.

**반환값:** `BaseModelOutputWithSpatialAndTemporalStates` 또는 `tuple(torch.Tensor)`

`BaseModelOutputWithSpatialAndTemporalStates` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우)로, 구성([VideoPrismConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismConfig)) 및 입력에 따라 다양한 요소를 포함합니다.

[VideoPrismVisionModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismVisionModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.
- **last_temporal_hidden_state** (`torch.Tensor`, *선택 사항*) -- 시간 인코더의 마지막 숨겨진 상태입니다. 일반적으로 `(batch_size * num_patches, num_frames, hidden_size)` 형태입니다.
- **last_spatial_hidden_state** (`torch.Tensor`, *선택 사항*) -- 공간 인코더의 마지막 숨겨진 상태입니다. 일반적으로 `(batch_size * num_frames, num_patches, hidden_size)` 형태입니다.

예:

```python
```

## VideoPrismVideoModel[[transformers.VideoPrismVideoModel]]

#### transformers.VideoPrismVideoModel[[transformers.VideoPrismVideoModel]]

```python
transformers.VideoPrismVideoModel(config: VideoPrismVisionConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L717)

**매개변수:**

config ([VideoPrismVisionConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismVisionConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

보조 인코더 레이어와 상단의 attention pooling head를 갖춘 vision encoder backbone으로 구성된 VideoPrism 비디오 모델입니다. 이 모델은 VideoPrismClipModel에서 사용됩니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.VideoPrismVideoModel.forward]]

```python
forward(pixel_values_videos: Tensor, interpolate_pos_encoding: bool | None = False, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L735)

**매개변수:**

pixel_values_videos (`torch.Tensor`, shape `(batch_size, num_frames, num_channels, frame_size, frame_size)`) : 입력 비디오에 해당하는 텐서입니다. 비디오의 픽셀 값은 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [LlavaOnevisionVideoProcessor.__call__()](/docs/transformers/v5.23.0/ko/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__)를 참조하세요 ([VideoPrismProcessor](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismProcessor)는 비디오 처리에 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용합니다).

interpolate_pos_encoding (`bool`, *선택 사항*, 기본값 `False`) : 사전 학습된 위치 인코딩을 보간할지 여부.

**반환값:** [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) 또는 `tuple(torch.Tensor)`

구성([VideoPrismConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismConfig))과 입력에 따라 다양한 요소를 포함하는 [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[VideoPrismVideoModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismVideoModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **pooler_output** (`torch.Tensor`, shape `(batch_size, hidden_size)`) -- 시퀀스의 첫 번째 토큰(분류 토큰)의 마지막 레이어 hidden-state입니다. 보조 사전학습 작업을 위해 사용되는 레이어들을 통해 추가 처리된 값입니다. 예를 들어 BERT 계열 모델의 경우, 선형 레이어와 tanh 활성화 함수를 통해 처리된 분류 토큰을 반환합니다. 선형 레이어의 가중치는 사전학습 단계에서 다음 문장 예측(분류) 목적 함수를 통해 학습됩니다.
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

## VideoPrismTextModel[[transformers.VideoPrismTextModel]]

#### transformers.VideoPrismTextModel[[transformers.VideoPrismTextModel]]

```python
transformers.VideoPrismTextModel(config: VideoPrismTextConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L658)

**매개변수:**

config ([VideoPrismTextConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismTextConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

특정 헤드가 위에 없는 맨 VideoPrism 텍스트 인코더로, 마지막 hidden states를 출력합니다. 이 모델은 VideoPrismClipModel에서 사용됩니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.VideoPrismTextModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L673)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/v5.23.0/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

position_ids (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다.  [위치 ID란 무엇인가요?](../glossary#position-ids)

**반환값:** [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) 또는 `tuple(torch.Tensor)`

구성([VideoPrismConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismConfig))과 입력에 따라 다양한 요소를 포함하는 [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[VideoPrismTextModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismTextModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **pooler_output** (`torch.Tensor`, shape `(batch_size, hidden_size)`) -- 시퀀스의 첫 번째 토큰(분류 토큰)의 마지막 레이어 hidden-state입니다. 보조 사전학습 작업을 위해 사용되는 레이어들을 통해 추가 처리된 값입니다. 예를 들어 BERT 계열 모델의 경우, 선형 레이어와 tanh 활성화 함수를 통해 처리된 분류 토큰을 반환합니다. 선형 레이어의 가중치는 사전학습 단계에서 다음 문장 예측(분류) 목적 함수를 통해 학습됩니다.
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

## VideoPrismClipModel[[transformers.VideoPrismClipModel]]

#### transformers.VideoPrismClipModel[[transformers.VideoPrismClipModel]]

```python
transformers.VideoPrismClipModel(config: VideoPrismConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L768)

**매개변수:**

config ([VideoPrismConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

비디오-텍스트 대비 학습을 위한 VideoPrism 모델입니다. 이 모델은 VideoPrismVideoModel과 VideoPrismTextModel로 구성되어 있으며, 비디오와 텍스트 입력 간의 유사도 점수를 계산합니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.VideoPrismClipModel.forward]]

```python
forward(pixel_values_videos: Tensor, input_ids: Tensor, attention_mask: typing.Optional[torch.Tensor] = None, interpolate_pos_encoding: bool | None = False, temperature: float | None = None, return_loss: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L831)

**매개변수:**

pixel_values_videos (`torch.Tensor`, shape `(batch_size, num_frames, num_channels, frame_size, frame_size)`) : 입력 비디오에 해당하는 텐서입니다. 비디오의 픽셀 값은 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [LlavaOnevisionVideoProcessor.__call__()](/docs/transformers/v5.23.0/ko/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__)를 참조하세요 ([VideoPrismProcessor](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismProcessor)는 비디오 처리에 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용합니다).

input_ids (`torch.Tensor`, shape `(batch_size, sequence_length)`) : 어휘 사전에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/v5.23.0/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

interpolate_pos_encoding (`bool`, *선택 사항*, 기본값 `False`) : 사전 학습된 위치 인코딩을 보간할지 여부.

temperature (`float`, *선택 사항*) : 유사도 점수를 스케일링하기 위한 온도 스칼라입니다. 제공되지 않으면 스케일링이 적용되지 않습니다.

return_loss (`bool`, *선택 사항*) : 대조적 손실을 반환할지 여부.

**반환값:** `VideoPrismClipOutput` 또는 `tuple(torch.Tensor)`

`VideoPrismClipOutput` 또는 `return_dict=False`가 전달되거나 `config.return_dict=False`인 경우 `torch.Tensor`의 튜플로, [VideoPrismConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismConfig) 및 입력에 따라 다양한 요소를 포함합니다.

[VideoPrismClipModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismClipModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **logits_per_video** (`torch.Tensor`, shape `(video_batch_size, text_batch_size)`) -- `video_embeds`와 `text_embeds` 사이의 스케일된 도트 프로덕트 점수입니다. 이는 비디오-텍스트 유사도 점수를 나타냅니다.
- **logits_per_text** (`torch.Tensor`, shape `(text_batch_size, video_batch_size)`) -- `text_embeds`와 `video_embeds` 사이의 스케일된 도트 프로덕트 점수입니다. 이는 텍스트-비디오 유사도 점수를 나타냅니다.
- **video_embeds** (`torch.Tensor`, shape `(batch_size, output_dim)`) -- [VideoPrismVideoModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismVideoModel)의 풀링된 출력에 투영 계층을 적용하여 얻은 비디오 임베딩입니다.
- **text_embeds** (`torch.Tensor`, shape `(batch_size, output_dim)`) -- [VideoPrismTextModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismTextModel)의 풀링된 출력에 투영 계층을 적용하여 얻은 텍스트 임베딩입니다.
- **video_model_output** (`~modeling_outputs.BaseModelOutputWithPooling`, *선택 사항*) -- [VideoPrismVideoModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismVideoModel)의 출력입니다.
- **text_model_output** (`~modeling_outputs.BaseModelOutputWithPooling`, *선택 사항*) -- [VideoPrismTextModel](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismTextModel)의 출력입니다.
- **loss** (`torch.Tensor`, shape `(1,)`, *선택 사항*, `return_loss`가 `True`일 때 반환됨) -- 비디오-텍스트 유사도를 위한 Contrastive loss.

예:

```python
```

## VideoPrismForVideoClassification[[transformers.VideoPrismForVideoClassification]]

#### transformers.VideoPrismForVideoClassification[[transformers.VideoPrismForVideoClassification]]

```python
transformers.VideoPrismForVideoClassification(config: VideoPrismVisionConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L898)

**매개변수:**

config ([VideoPrismVisionConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismVisionConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

VideoPrism Model은 attention pooler 위에 linear layer를 배치한 video classification head를 갖춘 transformer입니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.VideoPrismForVideoClassification.forward]]

```python
forward(pixel_values_videos: Tensor, labels: typing.Optional[torch.LongTensor] = None, interpolate_pos_encoding: bool | None = False, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/videoprism/modeling_videoprism.py#L917)

**매개변수:**

pixel_values_videos (`torch.Tensor`, shape `(batch_size, num_frames, num_channels, frame_size, frame_size)`) : 입력 비디오에 해당하는 텐서입니다. 비디오의 픽셀 값은 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [LlavaOnevisionVideoProcessor.__call__()](/docs/transformers/v5.23.0/ko/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__)를 참조하세요 ([VideoPrismProcessor](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismProcessor)는 비디오 처리에 [LlavaOnevisionVideoProcessor](/docs/transformers/v5.23.0/ko/model_doc/llava_onevision#transformers.LlavaOnevisionVideoProcessor)를 사용합니다).

labels (`torch.LongTensor`, shape `(batch_size,)`, *선택 사항*) : 이미지 분류/회귀 손실을 계산하는 데 사용되는 라벨. 인덱스는 `[0, ..., config.num_labels - 1]` 범위에 있어야 합니다. `config.num_labels == 1`인 경우 회귀 손실(평균 제곱 손실)이 계산되고, `config.num_labels > 1`인 경우 분류 손실(크로스 엔트로피)이 계산됩니다.

interpolate_pos_encoding (`bool`, *선택 사항*, 기본값 `False`) : 사전 학습된 위치 인코딩을 보간할지 여부.

**반환값:** [ImageClassifierOutput](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.ImageClassifierOutput) 또는 `tuple(torch.Tensor)`

구성([VideoPrismConfig](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismConfig))과 입력에 따라 다양한 요소를 포함하는 [ImageClassifierOutput](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.ImageClassifierOutput) 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[VideoPrismForVideoClassification](/docs/transformers/v5.23.0/ko/model_doc/videoprism#transformers.VideoPrismForVideoClassification)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **loss** (`torch.Tensor`, shape `(1,)`, *선택*, `labels`이 제공될 때 반환됨) -- 분류(또는 config.num_labels==1인 경우 회귀) 손실.
- **logits** (`torch.Tensor`, shape `(batch_size, config.num_labels)`) -- SoftMax 적용 전 분류(또는 config.num_labels==1인 경우 회귀) 점수.
- **hidden_states** (`tuple(torch.Tensor)`, *선택*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력용 1개 + 각 단계 출력용 1개)로, shape이 `(batch_size, sequence_length, hidden_size)`입니다. 각 단계 출력 시점의 모델 hidden-states(또는 feature maps)입니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환) -- 각 레이어당 하나씩, shape가 `(batch_size, num_heads, patch_size, sequence_length)`인 `torch.Tensor`의 튜플.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

예:

```python
```

