TRL documentation
Hướng dẫn từ Cộng đồng
Bắt đầu
Hướng dẫn khái niệm
Trainers
Hướng dẫn thực hành
Giao diện dòng lệnh (CLI)Huấn luyện bằng JobsTùy chỉnh quá trình huấn luyệnGiảm mức sử dụng bộ nhớTăng tốc huấn luyệnPhân phối huấn luyệnHuấn luyện trên AWS TrainiumHuấn luyện trên GPU AMDHuấn luyện vượt quá 1 triệu tokenSử dụng Mô hình đã được huấn luyện
Tích hợp
Ví dụ
API
Thí nghiệm
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.17.1).
Hướng dẫn từ Cộng đồng
Các hướng dẫn cộng đồng được tạo ra bởi những thành viên tích cực của cộng đồng Hugging Face, những người muốn chia sẻ kiến thức và chuyên môn của mình với người khác. Đây là cách tuyệt vời để tìm hiểu về thư viện và các tính năng của nó, cũng như để bắt đầu với các lớp và phương thức cốt lõi.
Mô hình ngôn ngữ
Hướng dẫn
| Nhiệm vụ | Lớp | Mô tả | Tác giả | Hướng dẫn | Colab |
|---|---|---|---|---|---|
| Học tăng cường | GRPOTrainer | Huấn luyện trực tuyến hiệu quả với GRPO và vLLM trong TRL | Sergio Paniego | Liên kết | |
| Học tăng cường | GRPOTrainer | Huấn luyện lại LLM cho suy luận bằng GRPO trong TRL | Sergio Paniego | Liên kết | |
| Học tăng cường | GRPOTrainer | Mini-R1: Tái hiện khoảnh khắc „aha“ của Deepseek R1, một hướng dẫn RL | Philipp Schmid | Liên kết | |
| Học tăng cường | GRPOTrainer | RL trên LLaMA 3.1-8B với GRPO và các tối ưu hóa Unsloth | Andrea Manzoni | Liên kết | |
| Điều chỉnh theo hướng dẫn | SFTTrainer | Tinh chỉnh các LLM Google Gemma sử dụng định dạng ChatML với QLoRA | Philipp Schmid | Liên kết | |
| Tạo có cấu trúc | SFTTrainer | Tinh chỉnh Llama-2-7B để tạo danh mục sản phẩm tiếng Ba Tư ở định dạng JSON bằng QLoRA và PEFT | Mohammadreza Esmaeilian | Liên kết | |
| Tối ưu hóa sở thích | DPOTrainer | Căn chỉnh Mistral-7b bằng Tối ưu hóa Sở thích Trực tiếp (Direct Preference Optimization) để căn chỉnh theo sở thích của con người | Maxime Labonne | Liên kết | |
| Tối ưu hóa sở thích | experimental.orpo.ORPOTrainer | Tinh chỉnh Llama 3 bằng ORPO kết hợp tinh chỉnh theo chỉ dẫn và căn chỉnh sở thích | Maxime Labonne | Liên kết | |
| Điều chỉnh theo hướng dẫn | SFTTrainer | Cách tinh chỉnh các LLM mã nguồn mở trong năm 2025 với Hugging Face | Philipp Schmid | Liên kết | |
| Lý luận theo từng bước | GRPOTrainer | Học tăng cường có giám sát (SRL) cho suy luận từng bước với vLLM | Deepak Swaminathan | Liên kết |
Video
| Nhiệm vụ | Tiêu đề | Tác giả | Video |
|---|---|---|---|
| Điều chỉnh theo hướng dẫn | Tinh chỉnh các mô hình AI mã nguồn mở bằng Hugging Face TRL | Wietse Venema | ![]() |
| Điều chỉnh theo hướng dẫn | Cách tinh chỉnh một smol-LM với Hugging Face, TRL và bộ dữ liệu smoltalk | Mayurji | ![]() |
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)
Hướng dẫn sử dụng hai tính năng đã bị ngừng hỗ trợ:
SFTTrainer(..., tokenizer=tokenizer): Hãy dùngSFTTrainer(..., processing_class=tokenizer)thay thế, hoặc đơn giản là bỏ qua tham số này (nó sẽ được suy ra từ model).setup_chat_format(model, tokenizer): Sử dụngSFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), trong đóchat_template_pathchỉ định mô hình mà bạn muốn sao chép chat template.
Mô hình Ngôn ngữ Thị giác
Hướng dẫn
| Nhiệm vụ | Lớp | Mô tả | Tác giả | Hướng dẫn | Colab |
|---|---|---|---|---|---|
| Kiểm tra chất lượng trực quan | SFTTrainer | Tinh chỉnh Qwen2-VL-7B cho câu hỏi trả lời trực quan trên bộ dữ liệu ChartQA | Sergio Paniego | Liên kết | |
| Kiểm tra chất lượng trực quan | SFTTrainer | Tinh chỉnh SmolVLM bằng TRL trên GPU tiêu dùng | Sergio Paniego | Liên kết | |
| Mô tả SEO | SFTTrainer | Tinh chỉnh Qwen2-VL-7B để tạo mô tả thân thiện với SEO từ hình ảnh | Philipp Schmid | Liên kết | |
| Kiểm tra chất lượng trực quan | DPOTrainer | PaliGemma 🤝 Tối ưu hóa sở thích trực tiếp | Merve Noyan | Liên kết | |
| Kiểm tra chất lượng trực quan | DPOTrainer | Tinh chỉnh SmolVLM bằng tối ưu hóa sở thích trực tiếp (DPO) với TRL trên GPU tiêu dùng | Sergio Paniego | Liên kết | |
| Định vị phát hiện đối tượng | SFTTrainer | Fine tuning một VLM cho Object Detection Grounding bằng TRL | Sergio Paniego | Liên kết | |
| Kiểm tra chất lượng trực quan | DPOTrainer | Chỉnh huấn luyện Mô hình Ngôn ngữ Thị giác bằng TRL sử dụng MPO | Sergio Paniego | Liên kết | |
| Học tăng cường | GRPOTrainer | Huấn luyện sau một VLM cho suy luận bằng GRPO sử dụng TRL | Sergio Paniego | Liên kết |
Mô hình ngôn ngữ giọng nói
Hướng dẫn
| Nhiệm vụ | Lớp | Mô tả | Tác giả | Hướng dẫn |
|---|---|---|---|---|
| Text-to-Speech | GRPOTrainer | Huấn luyện lại Mô hình Ngôn ngữ Âm thanh bằng GRPO sử dụng TRL | Steven Zheng | Liên kết |
Đóng góp
Nếu bạn có một bài hướng dẫn muốn thêm vào danh sách này, vui lòng mở một PR để thêm nó. Chúng tôi sẽ xem xét và hợp nhất nếu nó phù hợp với cộng đồng.
Update on GitHub
