Transformers documentation

Dolgu olmadan eğitim

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Dolgu olmadan eğitim

Padding-free eğitim (aynı zamanda packing olarak da adlandırılır), her bir örneği sabit bir uzunluğa doldurmak (padding) yerine, birden fazla örneği tek bir dizide birleştirir. Modelin, (doğrusal) attention'ın token'ları örnekler arasında karıştırmaması için her bir örneğin nerede bittiğini bilmesi gerekir.

Bu sınırları sağlamak için iki yol vardır.

  • Bunları bir veri toplayıcı (data collator) ile önceden hazırlayın.
  • Bunları çalışma zamanında position_ids üzerinden çıkarın.

Önerilen yaklaşım veri toplayıcısıdır (data collator). Bu kılavuz bunun nedenini açıklar ve position_ids yolunun dikkat edilmesi gereken noktalarını ele alır.

position_ids üzerinden sınırları çıkarmak tercih edilen yöntem değildir ve yalnızca standart dikkat modellerinde işe yarar. Qwen3-Next ve Qwen3.5 (Gated DeltaNet) gibi doğrusal dikkat modelleri ile konvolüsyon tabanlı modeller position_ids sınırlarını görmezden gelir ve veri toplayıcıyı (data collator) gerektirir. Doğrusal dikkat ve konvolüsyon modelleri bölümüne bakın.

Bir veri toplayıcı ile sınırları hazırlayın

Sınır kwargs'larını baştan hazırlamak, yukarıdaki sorunları ortadan kaldırır ve derleme yapılıp yapılmadığına bakılmaksızın aynı şekilde davranır.

Her batch'i düzleştirmek ve sınır bilgilerini döndürmek için DataCollatorWithFlattening kullanın. Collator'ın sınırları çalışma anında position_ids'den çıkarılmasını beklemeden önceden hesaplaması için return_flash_attn_kwargs=True olarak ayarlayın. Bunu Trainer'a iletin ve attention_mask eklemeyin; çünkü düzleştirilmiş batch zaten sınırları kodlamaktadır ve bir mask, paketlenmiş yerleşimle çelişir.

Padding-free, standart dikkat modelleri için bir FlashAttention uygulamasına dayanır; çünkü düzleştirilmiş bir partinin ihtiyaç duyduğu değişken uzunluklu yolu yalnızca FlashAttention çekirdekleri açığa çıkarır.

Yerel derleme gerektirmeden önceden derlenmiş bir FlashAttention çekirdeği getiren kernels kütüphanesini yükleyin. Ayrıca flash-attn yerel olarak yüklü olmadığında yedek çözüm olarak da çalışır. Modeli attn_implementation="kernels-community/flash-attn2" parametresiyle yükleyin.

import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, DataCollatorWithFlattening, Trainer, TrainingArguments

model_id = "meta-llama/Llama-3.2-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    attn_implementation="flash_attention_2",
    device_map="auto",
)

dataset = load_dataset("Salesforce/wikitext", "wikitext-2-raw-v1", split="train")
dataset = dataset.map(
    lambda example: tokenizer(example["text"], truncation=True, max_length=512),
    remove_columns=dataset.column_names,
)

# return_flash_attn_kwargs=True precomputes the sequence boundaries
data_collator = DataCollatorWithFlattening(return_flash_attn_kwargs=True)

trainer = Trainer(
    model=model,
    args=TrainingArguments(output_dir="padding-free-llama"),
    train_dataset=dataset,
    data_collator=data_collator,
)
trainer.train()

position_ids'den sınırları çıkar

FlashAttention, yalnızca position_ids üzerinden dolgu içermeyen partileri algılayabilir ve geriye dönük uyumluluk için korunur; çünkü TRL gibi alıcı çerçeveler buna bağımlıdır.

position_ids'e güvenmek iki sorun içerir.

  • position_ids üzerinden paketlenmiş dizilerin algılanması dinamik ve veriye bağımlı bir denetimdir. Derleme olmadan çalışır, ancak torch.compile altında grafik kırılmalarına (graph break) neden olur. Gerçek parti boyutları genellikle daha büyük olduğundan, bu denetimin ne sıklıkla çalıştığını sınırlamak amacıyla şu anda batch_size == 1 ile kısıtlanmıştır.
  • Compiled FlashAttention, bazı kwargs'ların düz Python int değerleri olmasını zorunlu kılar. Bunların çalışma zamanında position_ids üzerinden çıkarılması, cihazdan ana belleğe (device-to-host) senkronizasyonlarına neden olur ve eski PyTorch sürümlerinde, tensörden int'e dönüşüm nedeniyle ek bir graph break'e yol açar.

Doğrusal dikkat ve konvolüsyon modelleri

Gated DeltaNet (GDN), diğer doğrusal dikkat katmanları ve nedensel konvolüsyonlar, tasarım gereği yalnızca position_ids içeren bir yola sahip değildir. Bu modeller için verinin hazırlanmasında desteklenen tek seçenek, veriyi collator ile hazırlamaktır.

GDN, lineer dikkat veya nedensel konvolüsyon modelleri için yalnızca position_ids değerine güvenmeyin. seq_idx dahil olmak üzere sınır kwargs'larını veri toplayıcıyla (data collator) hazırlayın.

Bu modeller için hem return_flash_attn_kwargs=True hem de return_seq_idx=True değerlerini ayarlayın.

from transformers import DataCollatorWithFlattening

data_collator = DataCollatorWithFlattening(
    return_flash_attn_kwargs=True,
    return_seq_idx=True,
)

Tam olarak hangi çekirdek paketlerin kullanılacağı, modelin orijinal uygulamasına bağlıdır. Qwen3-Next ve Qwen3.5 gibi Gated DeltaNet modelleri flash-linear-attention kullanırken, Bamba gibi Mamba tabanlı modeller mamba-ssm kullanır. İkisi de konvolüsyon için causal-conv1d paketine dayanır. Doğru çekirdekler olmadan model, sınır kwargs'larını (anahtar kelime argümanlarını) yok sayan ve örnekler arasında token'ları karıştıran referans uygulamalarına geri düşer.

Bu çekirdeklerin çoğu, size uyumlu bir derleme getirebilen kernels kütüphanesi üzerinden de kullanılabilir. flash-linear-attention genellikle yine de doğrudan bir kurulum gerektirir.

Sınır kwargs'ları eksik olduğunda, çekirdekler tüm batch'i tek bir dizi olarak sessizce ele alır. Hata veya uyarı tetiklenmez, çünkü çalışma zamanı kontrolü, torch.compile ile çelişen veriye bağımlı bir dal oluşturur.

Sonraki adımlar

Update on GitHub