自动 HF 导出器类，负责根据 ExportConfig 自动实例化为正确的 HfExporter。

exporter = AutoHfExporter.from_pretrained("org/model-name")
program = exporter.export(model, inputs)

Auto-HF 导出配置类，负责根据存储在字典中的导出配置，自动分发到正确的导出配置。

所有 Transformers 导出器的抽象基类。

子类化并实现 ~HfExporter.export 以添加新的导出后端。

用于将 PreTrainedModel 转换为 ExportedProgram 的导出器。

>>> from transformers.exporters.exporter_dynamo import DynamoExporter, DynamoConfig

>>> exporter = DynamoExporter()
>>> exported = exporter.export(model, inputs, config=DynamoConfig(dynamic=True))
>>> outputs = exported.module()(**inputs)

用于将 PreTrainedModel 转换为 ONNX ONNXProgram 的导出器。

>>> from transformers.exporters.exporter_onnx import OnnxExporter, OnnxConfig

>>> exporter = OnnxExporter()
>>> onnx_program = exporter.export(model, inputs, config=OnnxConfig(dynamic=True))
>>> outputs = onnx_program(**inputs)  # run in-memory
>>> exporter.export(model, inputs, config=OnnxConfig(output_path="model.onnx"))  # save to disk

用于将 PreTrainedModel 转换为 ExecuTorch ExecutorchProgramManager 的导出器。

>>> from transformers.exporters.exporter_executorch import ExecutorchExporter, ExecutorchConfig

>>> exporter = ExecutorchExporter()
>>> et_program = exporter.export(model, inputs, config=ExecutorchConfig(backend="xnnpack"))
>>> et_program.write_to_file("model.pte")

用于通过 torch.export 导出模型的配置类。

用于通过 torch.onnx.export 将模型导出为 ONNX 的配置类。

继承 DynamoConfig 的所有字段（dynamic、strict、dynamic_shapes、prefer_deferred_runtime_asserts_over_guards）。

用于将模型导出为 ExecuTorch 格式的配置类。

继承 DynamoConfig 的所有字段（dynamic、strict、dynamic_shapes、prefer_deferred_runtime_asserts_over_guards）。

用于通过 openvino.convert_model 将模型导出为 OpenVINO IR 的配置类。

继承自 [DynamoConfig] 的所有字段（dynamic、strict、dynamic_shapes、prefer_deferred_runtime_asserts_over_guards）。

在导出期间应用的训练后量化器的基类。

量化器会声明其支持的导出格式以及所需的依赖包（包括经过测试的版本，与导出器类似），并说明它是在任何转换之前对 torch.export FX 图进行量化（因此所有后端都会接收该结果），还是对后端转换后的模型（onnx_ir.Model、openvino.Model）进行量化。导出器会预先针对导出进行验证，然后使用该模型及导出的示例输入调用 ~ExportQuantizer.quantize。请继承该类并实现 quantize 以添加新的量化方法；CalibrationSet 用于将校准样本映射到模型自身的输入。

作为模型输入的校准样本的可重复迭代视图。

这些样本是量化器的 calibration_dataset，或者在量化器没有提供样本时，是导出自身的 sample_inputs（读取时会发出一次警告）。它们可以是任意映射，例如分词器的 BatchEncoding。transform 会将每个前向传播关键字参数样本映射为量化模型所接受的内容（即被追踪的关键字参数、ONNX 输入或 OpenVINO 端口输入），该过程是惰性的，每次遍历都会逐个样本进行处理。

使用 PyTorch 2 Export (PT2E) 量化 对 FX 图进行量化：prepare_pt2e 会插入观测器，校准集驱动这些观测器，随后 convert_pt2e 将它们替换为量化/反量化算子。支持所有导出后端。

>>> from torchao.quantization.pt2e.quantizer.x86_inductor_quantizer import (
...     X86InductorQuantizer,
...     get_default_x86_inductor_quantization_config,
... )
>>> from transformers.exporters import DynamoConfig, PT2EQuantizer

>>> x86 = X86InductorQuantizer().set_global(get_default_x86_inductor_quantization_config())
>>> DynamoConfig(quantizer=PT2EQuantizer(x86, calibration_dataset=samples))

使用 ONNX Runtime 自带的工具（onnxruntime.quantization）对转换后的 ONNX 模型进行量化：使用 OnnxRuntimeStaticConfig（默认）的 quantize_static，或使用 OnnxRuntimeDynamicConfig 的 quantize_dynamic。

>>> from transformers.exporters import (
...     OnnxConfig,
...     OnnxRuntimeDynamicConfig,
...     OnnxRuntimeQuantizer,
...     OnnxRuntimeStaticConfig,
... )

>>> static = OnnxRuntimeStaticConfig(per_channel=True)
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(static, calibration_dataset=samples))
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(OnnxRuntimeDynamicConfig()))

onnxruntime.quantization.quantize_static 的参数：int8 激活值和权重（默认采用 QDQ 格式），基于量化器的 calibration_dataset 进行校准。将某个字段保留为 None 即可沿用 ONNX Runtime 的默认值。各项参数的详细说明请参见 quantize_static。

onnxruntime.quantization.quantize_dynamic 的参数：int8 权重，激活值在运行时进行量化，无需校准。将某个字段保留为 None 即可沿用 ONNX Runtime 的默认值。各项参数的详细说明请参见 quantize_dynamic。

使用 NNCF 对转换后的 OpenVINO 模型进行量化：使用 nncf.quantize 和 NNCFQuantizationConfig（默认），或使用 nncf.compress_weights 和 NNCFWeightCompressionConfig。

>>> import nncf
>>> from transformers.exporters import NNCFOpenVINOQuantizer, NNCFWeightCompressionConfig, OpenVINOConfig

>>> OpenVINOConfig(quantizer=NNCFOpenVINOQuantizer(calibration_dataset=samples))
>>> OpenVINOConfig(
...     quantizer=NNCFOpenVINOQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM))
... )

使用 NNCF 的 ONNX 后端对转换后的 ONNX 模型进行量化：使用 nncf.quantize 和 NNCFQuantizationConfig（默认，int8 QDQ），或使用 nncf.compress_weights 和 NNCFWeightCompressionConfig（int4，作为 ONNX Runtime 的 MatMulNBits）。

>>> import nncf
>>> from transformers.exporters import NNCFOnnxQuantizer, NNCFWeightCompressionConfig, OnnxConfig

>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(calibration_dataset=samples))
>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM)))

通过 NNCF 的 TorchFX 后端对 torch.export FX 图进行量化：使用 nncf.quantize 配合 NNCFQuantizationConfig（默认使用 quantize/dequantize 算子），或使用 nncf.compress_weights 配合 NNCFWeightCompressionConfig。与 PT2EQuantizer 类似，它在任何转换之前运行，因此所有后端都会接收其结果。ExecuTorch 仅降低仅权重（weight-only）的结果：XNNPACK 不会委托 quantize/dequantize 算子，且 ExecuTorch 没有针对这些算子的内核。

>>> from transformers.exporters import DynamoConfig, NNCFTorchFXQuantizer

>>> DynamoConfig(quantizer=NNCFTorchFXQuantizer(calibration_dataset=samples))

nncf.quantize 的参数：对量化器的 calibration_dataset 进行校准后的 int8 激活值和权重。 除 model_type 外，将字段保留为 None 会沿用 NNCF 的默认值；model_type 的默认值为 nncf.ModelType.TRANSFORMER。 有关每个参数的详细信息，请参阅 nncf.quantize。

nncf.compress_weights 的参数：仅针对权重的 int8 或 int4 量化，其中 int4 模式支持数据感知方法（AWQ、scale estimation、GPTQ）。int8 模式无需数据；其他模式则基于量化器的 calibration_dataset 进行校准。gptq 和 lora_correction 仅适用于 OpenVINO。将某个字段保留为 None 时，将沿用 NNCF 的默认值。有关每个参数的详细说明，请参阅 nncf.compress_weights。

递归地从可能嵌套的结构中获取所有叶张量。

配置用于导出的模型和输入。会就地修改 model 和 inputs， 并返回 (model, inputs, output_flags)，其中 output_flags 保存了从 inputs 中弹出的 use_cache、return_dict 等值（在跟踪期间，patch_model_config 会将其可逆地应用到 model.config 上）。

• 移除标签输入（labels、future_values）——不支持损失计算。
• 从 inputs 中弹出输出标志（use_cache、return_dict、……），使其不会作为被追踪的 kwargs 出现；这些值会被返回，供 trace 块应用到 model.config 上。
• 预先计算通过 @register_export_input_preparer 注册的数据依赖型视觉/音频 kwargs，并将其写入 inputs。
• 将输入张量转换为与模型的 dtype / device 相匹配。

运行 model.generate() 并捕获 prefill 和 decode 的输入。

复用完整的生成机制，使每种架构（仅解码器、SSM、编码器-解码器、多模态等）都能获得正确的输入，而无需重新实现循环。

generation_config 会转发给 generate()（默认使用模型自身的配置），因此捕获的输入会使用 generate() 构建的缓存。传入一个包含 cache_implementation="static" 和 max_cache_len=N 的配置，即可在解码输入中捕获一个 静态大小 的缓存——这是静态缓存导出的基础。max_cache_len 独立于捕获过程来设定缓存大小，因此导出的解码将使用固定大小的 [..., N, ...] 缓存，而不是不断增长的缓存。

当 multi_token_decode 为真时，decode 组件会被捕获为 多 token 解码——即将两个连续的解码步骤合并（参见 _merge_decode_calls），从而使其查询序列轴保持符号化（单 token 解码会将该轴特化为 1）。随后，它既能处理单个 token（常规解码），也能处理多个 token（基于过去状态的续写，或在缓存为空时的普通预填充）。否则，decode 即为经典的单 token 解码。

通过单次前向传播捕获每个多模态子模块的输入。

通过属性名称（视觉塔、投影器、语言模型、lm_head 等）检测所有已知的多模态子模块，并在一次 model(**inputs) 调用中捕获它们的 forward kwargs。

每个子模块都会作为独立的 name: (module, inputs) 条目返回，以便进行独立导出。Token 合并步骤（例如多模态模型中的 masked_scatter）被有意排除在导出的图之外——调用方有责任在运行解码器之前，根据编码器输出组装 inputs_embeds。

将生成式模型分解为可独立导出的 (model, forward_inputs) 对。

运行 decompose_prefill_decode，以从真实的 model.generate(**inputs, max_new_tokens=2) 中捕获 prefill 和 decode 的前向 kwargs。如果 prefill 是多模态的（根据 is_multimodal），则通过 decompose_multimodal 将其进一步拆分为每个子模块（视觉/音频编码器、projector、语言模型、lm_head）各一个条目。

如果模型是多模态模型，包含模态编码器和语言模型，则返回 True。

非PreTrainedModel（例如裸的nn.Module）没有标准的get_encoder/get_decoder访问器，并且显然不是多模态的，因此会直接短路返回False。