モデルがPEFTモデルかどうかを確認します。

モデル内のLoRAアダプターのスケーリングを一時的に再スケーリングするためのコンテキストマネージャー。

コンテキストマネージャーが終了すると、元のスケーリング値が復元されます。このコンテキストマネージャーは、LoRA アダプターを直接読み込んだ transformers および diffusers のモデルで動作します。

LoRAの場合、乗数が[0, 1]の範囲にあるこのコンテキストマネージャを適用することは、wise-ftを適用することと厳密に同等です（詳細は#1940を参照）。ファインチューニングに使用した学習データと、推論時に使用したテストデータ間に分布シフトがある場合、モデルの性能を向上させる可能性があります。

警告: AppleのPyTorch用MPSバックエンドを使用する場合、スケールが完全に復元される前にコンテキストを終了すると、短いスリープ時間を追加する必要があると報告されています。

>>> model = ModelWithLoraLayer()
>>> multiplier = 0.5
>>> with rescale_adapter_scale(model, multiplier):
...     outputs = model(**inputs)  # Perform operations with the scaled model
>>> outputs = model(**inputs)  # The original scaling values are restored here

Context managerは、入力dtypeを重みのdtypeにキャストすることを無効にします。

DoRAのキャッシュを有効にするコンテキストマネージャーです。メモリを消費する代わりに、DoRA推論の速度を向上させます。

アクティブなキャッシュが有効な場合、マテリアライズされたLoRA重み（B @ A）と重みのノルム（ベース重み + LoRA重み）がキャッシュされます。

キャッシュのコンテキスト内であっても、モデルがトレーニングモードにある場合、キャッシュは無効になります。モデルがトレーニングモードに切り替わると、キャッシュはクリアされます。

>>> from peft.helpers import DoraCaching

>>> model.eval()  # put in eval model for caching to work

>>> with DoraCaching():  # use as a context manager
...     output = model(inputs)

>>> dora_caching = DoraCaching()
>>> dora_caching(enabled=True)  # permanently enable caching
>>> output = model(inputs)
>>> dora_caching(enabled=False)  # permanently disable caching
>>> output = model(inputs)

モジュールごと／パラメータごとの条件数を計算し、最適なLoRAターゲットを返す軽量ユーティリティです。

サポート:

• 従来のnn.Linearモジュール（LoraConfigのtarget_modules）
• Llama-4、Qwen2_MoE、Qwen3_MoE、Mixtral、OLMoE などのモデルで使用される、3 次元の nn.Parameter として保存された最新の融合 MoE 重み（gate_up_proj / down_proj、gate_proj / up_proj など）です。これらは target_parameters を介して返されます。

注:

• 条件数の計算にはSVDの実行が必要であり、非常に大きなモデルでは数分かかる場合があります。進捗バーの表示/非表示はshow_progressで制御できます。

KappaTuneのターゲット選択のための一行で使える便利関数です。target_modulesとtarget_parametersの両方を返します。