AMD GPU'larında Eğitim

TRL eğitimcileri, kod değişikliği gerektirmeden AMD Instinct GPU'larında çalışır. PyTorch'un ROCm derlemesi bunları cuda cihazları olarak sunar, bu nedenle belgelendirmedeki diğer komutlar olduğu gibi çalışır.

Kurulum

PyTorch’un ROCm derlemesini kurun, ardından TRL’yi aynı ortamda kurun:

pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2
pip install trl

Dikkat çekirdekleri

Bu belgedeki örneklerde kullanılan FlashAttention çekirdekleri (kernels-community/flash-attn2, flash-attn3 ve flash-attn4) için ROCm derlemesi bulunmamaktadır. AMD GPU'larında, kernels kütüphanesi tarafından Hub'dan indirilen kernels-community/aiter-flash-attn kullanın (pip install trl[kernels]):

from trl import SFTConfig

training_args = SFTConfig(model_init_kwargs={"attn_implementation": "kernels-community/aiter-flash-attn@v2"})

Çekirdekte dikkat-logit yumuşak sınırlama (attention-logit soft-capping) yoktur ve Transformers, attn_logit_softcapping parametresini bir uyarı vermeden atlar; bu nedenle Gemma 2 gibi bu özelliği kullanan modeller, sınırlamasız dikkat (uncapped attention) ile eğitilir.

vLLM ile Üretim

use_vllm=True ile GRPO ve RLOO, vLLM’in ROCm derlemesini gerektirir; bkz. vLLM kurulum kılavuzu.