Transformers documentation
Dolgu olmadan eğitim
Dolgu olmadan eğitim
Padding-free eğitim (aynı zamanda packing olarak da adlandırılır), her bir örneği sabit bir uzunluğa doldurmak (padding) yerine, birden fazla örneği tek bir dizide birleştirir. Modelin, (doğrusal) attention'ın token'ları örnekler arasında karıştırmaması için her bir örneğin nerede bittiğini bilmesi gerekir.
Bu sınırları sağlamak için iki yol vardır.
- Bunları bir veri toplayıcı (data collator) ile önceden hazırlayın.
- Bunları çalışma zamanında
position_idsüzerinden çıkarın.
Önerilen yaklaşım veri toplayıcısıdır (data collator). Bu kılavuz bunun nedenini açıklar ve position_ids yolunun dikkat edilmesi gereken noktalarını ele alır.
position_idsüzerinden sınırları çıkarmak tercih edilen yöntem değildir ve yalnızca standart dikkat modellerinde işe yarar. Qwen3-Next ve Qwen3.5 (Gated DeltaNet) gibi doğrusal dikkat modelleri ile konvolüsyon tabanlı modellerposition_idssınırlarını görmezden gelir ve veri toplayıcıyı (data collator) gerektirir. Doğrusal dikkat ve konvolüsyon modelleri bölümüne bakın.
Bir veri toplayıcı ile sınırları hazırlayın
Sınır kwargs'larını baştan hazırlamak, yukarıdaki sorunları ortadan kaldırır ve derleme yapılıp yapılmadığına bakılmaksızın aynı şekilde davranır.
Her batch'i düzleştirmek ve sınır bilgilerini döndürmek için DataCollatorWithFlattening kullanın. Collator'ın sınırları çalışma anında position_ids'den çıkarılmasını beklemeden önceden hesaplaması için return_flash_attn_kwargs=True olarak ayarlayın. Bunu Trainer'a iletin ve attention_mask eklemeyin; çünkü düzleştirilmiş batch zaten sınırları kodlamaktadır ve bir mask, paketlenmiş yerleşimle çelişir.
Padding-free, standart dikkat modelleri için bir FlashAttention uygulamasına dayanır; çünkü düzleştirilmiş bir partinin ihtiyaç duyduğu değişken uzunluklu yolu yalnızca FlashAttention çekirdekleri açığa çıkarır.
Yerel derleme gerektirmeden önceden derlenmiş bir FlashAttention çekirdeği getiren kernels kütüphanesini yükleyin. Ayrıca flash-attn yerel olarak yüklü olmadığında yedek çözüm olarak da çalışır. Modeli
attn_implementation="kernels-community/flash-attn2"parametresiyle yükleyin.
import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, DataCollatorWithFlattening, Trainer, TrainingArguments
model_id = "meta-llama/Llama-3.2-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
attn_implementation="flash_attention_2",
device_map="auto",
)
dataset = load_dataset("Salesforce/wikitext", "wikitext-2-raw-v1", split="train")
dataset = dataset.map(
lambda example: tokenizer(example["text"], truncation=True, max_length=512),
remove_columns=dataset.column_names,
)
# return_flash_attn_kwargs=True precomputes the sequence boundaries
data_collator = DataCollatorWithFlattening(return_flash_attn_kwargs=True)
trainer = Trainer(
model=model,
args=TrainingArguments(output_dir="padding-free-llama"),
train_dataset=dataset,
data_collator=data_collator,
)
trainer.train()position_ids'den sınırları çıkar
FlashAttention, yalnızca position_ids üzerinden dolgu içermeyen partileri algılayabilir ve geriye dönük uyumluluk için korunur; çünkü TRL gibi alıcı çerçeveler buna bağımlıdır.
position_ids'e güvenmek iki sorun içerir.
position_idsüzerinden paketlenmiş dizilerin algılanması dinamik ve veriye bağımlı bir denetimdir. Derleme olmadan çalışır, ancaktorch.compilealtında grafik kırılmalarına (graph break) neden olur. Gerçek parti boyutları genellikle daha büyük olduğundan, bu denetimin ne sıklıkla çalıştığını sınırlamak amacıyla şu andabatch_size == 1ile kısıtlanmıştır.- Compiled FlashAttention, bazı kwargs'ların düz Python
intdeğerleri olmasını zorunlu kılar. Bunların çalışma zamanındaposition_idsüzerinden çıkarılması, cihazdan ana belleğe (device-to-host) senkronizasyonlarına neden olur ve eski PyTorch sürümlerinde, tensörden int'e dönüşüm nedeniyle ek bir graph break'e yol açar.
Doğrusal dikkat ve konvolüsyon modelleri
Gated DeltaNet (GDN), diğer doğrusal dikkat katmanları ve nedensel konvolüsyonlar, tasarım gereği yalnızca position_ids içeren bir yola sahip değildir. Bu modeller için verinin hazırlanmasında desteklenen tek seçenek, veriyi collator ile hazırlamaktır.
GDN, lineer dikkat veya nedensel konvolüsyon modelleri için yalnızca
position_idsdeğerine güvenmeyin.seq_idxdahil olmak üzere sınır kwargs'larını veri toplayıcıyla (data collator) hazırlayın.
Bu modeller için hem return_flash_attn_kwargs=True hem de return_seq_idx=True değerlerini ayarlayın.
from transformers import DataCollatorWithFlattening
data_collator = DataCollatorWithFlattening(
return_flash_attn_kwargs=True,
return_seq_idx=True,
)Tam olarak hangi çekirdek paketlerin kullanılacağı, modelin orijinal uygulamasına bağlıdır. Qwen3-Next ve Qwen3.5 gibi Gated DeltaNet modelleri flash-linear-attention kullanırken, Bamba gibi Mamba tabanlı modeller mamba-ssm kullanır. İkisi de konvolüsyon için causal-conv1d paketine dayanır. Doğru çekirdekler olmadan model, sınır kwargs'larını (anahtar kelime argümanlarını) yok sayan ve örnekler arasında token'ları karıştıran referans uygulamalarına geri düşer.
Bu çekirdeklerin çoğu, size uyumlu bir derleme getirebilen kernels kütüphanesi üzerinden de kullanılabilir. flash-linear-attention genellikle yine de doğrudan bir kurulum gerektirir.
Sınır kwargs'ları eksik olduğunda, çekirdekler tüm batch'i tek bir dizi olarak sessizce ele alır. Hata veya uyarı tetiklenmez, çünkü çalışma zamanı kontrolü, torch.compile ile çelişen veriye bağımlı bir dal oluşturur.
Sonraki adımlar
- Diğer collatorlar için data collators kılavuzuna bakın.
- Tüm argüman seti için DataCollatorWithFlattening API referansını görüntüleyin.
- Benchmarks ve daha ayrıntılı bir inceleme için Flash Attention ile Paketleme Kullanarak Hugging Face Eğitim Verimliliğini Artırma başlıklı makaleyi okuyun.