TRL - Обучение с подкреплением для Transformers

TRL — это библиотека полного цикла, предоставляющая набор инструментов для обучения трансформерных языковых моделей с использованием таких методов, как Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling и других. Библиотека интегрирована с 🤗 transformers.

🎉 Что нового

🔥 Mistral Large 4: Настройте Mistral Large 4 с помощью SFTTrainer на одном узле из 8 B300, используя его веса в формате FP8. См. пример с LoRA.

🚀 Обучение на GPU AMD: тренера TRL теперь работают на GPU AMD Instinct через сборку PyTorch ROCm.

🔥 Beam: Настройте Beam с помощью SFTTrainer на одном узле из 8 B300. См. пример с LoRA.

🔥 Muse Spark Open: Настройте Muse Spark Open с помощью SFTTrainer, разбив его на части по вашим GPU при загрузке. См. пример LoRA на 8 узлах.

🚀 Обучение на AWS Trainium: тренера TRL теперь работают на AWS Trainium через TorchNeuron, нативный бэкенд Neuron для PyTorch.

Таксономия

Ниже приведён обзор тренеров TRL, сгруппированных по степени зрелости и типу метода.

Онлайн-методы

Моделирование вознаграждения

RewardTrainer

Офлайн-методы

Дистилляция знаний

DistillationTrainer

Экспериментальный

Онлайн-методы

Офлайн-методы

Дистилляция знаний

Вы также можете ознакомиться с моделями, наборами данных и демонстрациями, связанными с TRL, в организации TRL на Hugging Face.

Обучение

Изучите пост-обучение с TRL и другими библиотеками в 🤗 smol course.

Содержание

Документация организована в следующие разделы:

Начало работы: руководство по установке и быстрому старту.
Концептуальные руководства: форматы наборов данных, FAQ по обучению и понимание логов.
Руководства: снижение потребления памяти, ускорение обучения, распределение обучения и т. д.
Интеграции: DeepSpeed, PEFT и др.
Примеры: обзор примеров, учебные материалы сообщества и т. д.
API: тренажёры, утилиты и т. д.