Transformers documentation

Ядра для обучения

You are viewing v5.23.0 version. A newer version v5.24.0 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Ядра для обучения

Собственные ядра нацелены на конкретные операции, такие как умножение матриц, внимание и нормализация, чтобы выполнять их быстрее. Объединение нескольких операций в одно ядро снижает потребление пропускной способности памяти, уменьшая количество чтений и записей в память GPU, а также сокращает накладные расходы на запуск каждой операции.

Ядра Hub

В Hub размещены ядра сообщества, которые можно загрузить с помощью KernelConfig. Передайте конфигурацию в параметр kernel_config метода from_pretrained(). После загрузки ядро становится активным для обучения. Все доступные варианты описаны в руководстве Загрузка ядер.

from transformers import AutoModelForCausalLM, KernelConfig

kernel_config = KernelConfig(
    kernel_mapping={
        "RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
    }
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    use_kernels=True,
    kernel_config=kernel_config,
)

Liger

Liger Kernel объединяет слои, такие как RMSNorm, RoPE, SwiGLU, CrossEntropy и FusedLinearCrossEntropy, в единые ядра Triton. Он совместим с FlashAttention, FSDP и DeepSpeed, повышает пропускную способность обучения на нескольких GPU и снижает потребление памяти, что делает более реализуемыми использование больших словарей, размеров батчей и длин контекста.

pip install liger-kernel

Установите use_liger_kernel=True в TrainingArguments, чтобы заменить соответствующие слои модели ядрами Liger.

Список поддерживаемых моделей приведён на странице patching.

from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True
)

Чтобы управлять тем, какие слои будут патчены, передайте liger_kernel_config в виде словаря. Доступные опции зависят от модели и включают: rope, swiglu, cross_entropy, fused_linear_cross_entropy, rms_norm и другие.

from transformers import TrainingArguments

training_args = TrainingArguments(
    ...,
    use_liger_kernel=True,
    liger_kernel_config={
        "rope": True,
        "cross_entropy": True,
        "rms_norm": False,
        "swiglu": True,
    }
)

Дальнейшие шаги

  • См. руководство Attention backends для подробностей о ядрах, таких как FlashAttention, которые снижают потребление памяти.
  • См. руководство torch.compile, чтобы узнать, как компилировать прямой и обратный проходы для всего шага обучения.
Update on GitHub