Transformers documentation
Ядра для обучения
Ядра для обучения
Собственные ядра нацелены на конкретные операции, такие как умножение матриц, внимание и нормализация, чтобы выполнять их быстрее. Объединение нескольких операций в одно ядро снижает потребление пропускной способности памяти, уменьшая количество чтений и записей в память GPU, а также сокращает накладные расходы на запуск каждой операции.
Ядра Hub
В Hub размещены ядра сообщества, которые можно загрузить с помощью KernelConfig. Передайте конфигурацию в параметр kernel_config метода from_pretrained(). После загрузки ядро становится активным для обучения. Все доступные варианты описаны в руководстве Загрузка ядер.
from transformers import AutoModelForCausalLM, KernelConfig
kernel_config = KernelConfig(
kernel_mapping={
"RMSNorm": "kernels-community/liger-kernels:LigerRMSNorm",
}
)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
use_kernels=True,
kernel_config=kernel_config,
)Liger
Liger Kernel объединяет слои, такие как RMSNorm, RoPE, SwiGLU, CrossEntropy и FusedLinearCrossEntropy, в единые ядра Triton. Он совместим с FlashAttention, FSDP и DeepSpeed, повышает пропускную способность обучения на нескольких GPU и снижает потребление памяти, что делает более реализуемыми использование больших словарей, размеров батчей и длин контекста.
pip install liger-kernel
Установите use_liger_kernel=True в TrainingArguments, чтобы заменить соответствующие слои модели ядрами Liger.
Список поддерживаемых моделей приведён на странице patching.
from transformers import TrainingArguments
training_args = TrainingArguments(
...,
use_liger_kernel=True
)Чтобы управлять тем, какие слои будут патчены, передайте liger_kernel_config в виде словаря. Доступные опции зависят от модели и включают: rope, swiglu, cross_entropy, fused_linear_cross_entropy, rms_norm и другие.
from transformers import TrainingArguments
training_args = TrainingArguments(
...,
use_liger_kernel=True,
liger_kernel_config={
"rope": True,
"cross_entropy": True,
"rms_norm": False,
"swiglu": True,
}
)Дальнейшие шаги
- См. руководство Attention backends для подробностей о ядрах, таких как FlashAttention, которые снижают потребление памяти.
- См. руководство torch.compile, чтобы узнать, как компилировать прямой и обратный проходы для всего шага обучения.