모델이 PEFT 모델인지 확인합니다.

모델에서 LoRA 어댑터의 스케일링을 일시적으로 재조정하기 위한 컨텍스트 매니저입니다.

컨텍스트 매니저가 종료되면 원래의 스케일링 값이 복원됩니다. 이 컨텍스트 매니저는 LoRA 어댑터를 직접 로드한 transformers 및 diffusers 모델과 함께 작동합니다.

LoRA의 경우, 이 컨텍스트 매니저를 [0, 1] 범위의 배율과 함께 적용하는 것은 wise-ft를 적용하는 것과 엄밀히 동일합니다(자세한 내용은 #1940 참조). 파인튜닝에 사용된 학습 데이터와 추론 시 사용된 테스트 데이터 사이에 분포 이동이 있는 경우, 모델의 성능을 향상시킬 수 있습니다.

Warning: Apple의 PyTorch용 MPS 백엔드를 사용할 때, 스케일이 완전히 복원되기 전에 컨텍스트를 종료한 후 짧은 sleep 시간을 추가해야 한다는 보고가 있습니다.

>>> model = ModelWithLoraLayer()
>>> multiplier = 0.5
>>> with rescale_adapter_scale(model, multiplier):
...     outputs = model(**inputs)  # Perform operations with the scaled model
>>> outputs = model(**inputs)  # The original scaling values are restored here

Context manager은 입력의 dtype을 가중치의 dtype으로 캐스팅하는 것을 비활성화합니다.

DoRA 추론의 속도를 향상시키되 메모리를 대가로 하는 DoRA 캐싱을 활성화하는 컨텍스트 매니저입니다.

활성 캐싱이 사용되면, 물질화된 LoRA 가중치(B @ A)와 가중치 노름(기본 가중치 + LoRA 가중치)이 캐시됩니다.

캐싱 컨텍스트 내부에서도 모델이 학습 모드에 있으면 캐싱이 비활성화됩니다. 모델이 학습 모드로 전환되면 캐시가 삭제됩니다.

>>> from peft.helpers import DoraCaching

>>> model.eval()  # put in eval model for caching to work

>>> with DoraCaching():  # use as a context manager
...     output = model(inputs)

>>> dora_caching = DoraCaching()
>>> dora_caching(enabled=True)  # permanently enable caching
>>> output = model(inputs)
>>> dora_caching(enabled=False)  # permanently disable caching
>>> output = model(inputs)

모듈별/파라미터별 조건수를 계산하고 최적의 LoRA 타겟을 반환하는 경량 유틸리티입니다.

지원:

• 클래식한 nn.Linear 모듈(LoraConfig의 target_modules)
• Llama-4, Qwen2_MoE, Qwen3_MoE, Mixtral, OLMoE 및 유사한 모델에서 사용되는 3차원 nn.Parameter로 저장된 최신 융합 MoE 가중치(gate_up_proj / down_proj, gate_proj / up_proj 등)입니다. 이들은 target_parameters를 통해 반환됩니다.

참고:

• Condition-number 계산에는 SVD 실행이 필요하며, 매우 큰 모델의 경우 몇 분 정도 소요될 수 있습니다. show_progress를 통해 진행 표시줄을 표시하거나 비활성화할 수 있습니다.

KappaTune 대상 선택을 위한 한 줄 편의 함수입니다. target_modules와 target_parameters를 모두 반환합니다.