TRL documentation

Hướng dẫn từ Cộng đồng

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.17.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Hướng dẫn từ Cộng đồng

Các hướng dẫn cộng đồng được tạo ra bởi những thành viên tích cực của cộng đồng Hugging Face, những người muốn chia sẻ kiến thức và chuyên môn của mình với người khác. Đây là cách tuyệt vời để tìm hiểu về thư viện và các tính năng của nó, cũng như để bắt đầu với các lớp và phương thức cốt lõi.

Mô hình ngôn ngữ

Hướng dẫn

Nhiệm vụLớpMô tảTác giảHướng dẫnColab
Học tăng cườngGRPOTrainerHuấn luyện trực tuyến hiệu quả với GRPO và vLLM trong TRLSergio PaniegoLiên kếtOpen In Colab
Học tăng cườngGRPOTrainerHuấn luyện lại LLM cho suy luận bằng GRPO trong TRLSergio PaniegoLiên kếtOpen In Colab
Học tăng cườngGRPOTrainerMini-R1: Tái hiện khoảnh khắc „aha“ của Deepseek R1, một hướng dẫn RLPhilipp SchmidLiên kếtOpen In Colab
Học tăng cườngGRPOTrainerRL trên LLaMA 3.1-8B với GRPO và các tối ưu hóa UnslothAndrea ManzoniLiên kếtOpen In Colab
Điều chỉnh theo hướng dẫnSFTTrainerTinh chỉnh các LLM Google Gemma sử dụng định dạng ChatML với QLoRAPhilipp SchmidLiên kếtOpen In Colab
Tạo có cấu trúcSFTTrainerTinh chỉnh Llama-2-7B để tạo danh mục sản phẩm tiếng Ba Tư ở định dạng JSON bằng QLoRA và PEFTMohammadreza EsmaeilianLiên kếtOpen In Colab
Tối ưu hóa sở thíchDPOTrainerCăn chỉnh Mistral-7b bằng Tối ưu hóa Sở thích Trực tiếp (Direct Preference Optimization) để căn chỉnh theo sở thích của con ngườiMaxime LabonneLiên kếtOpen In Colab
Tối ưu hóa sở thíchexperimental.orpo.ORPOTrainerTinh chỉnh Llama 3 bằng ORPO kết hợp tinh chỉnh theo chỉ dẫn và căn chỉnh sở thíchMaxime LabonneLiên kếtOpen In Colab
Điều chỉnh theo hướng dẫnSFTTrainerCách tinh chỉnh các LLM mã nguồn mở trong năm 2025 với Hugging FacePhilipp SchmidLiên kếtOpen In Colab
Lý luận theo từng bướcGRPOTrainerHọc tăng cường có giám sát (SRL) cho suy luận từng bước với vLLMDeepak SwaminathanLiên kếtOpen In Colab

Video

Nhiệm vụTiêu đềTác giảVideo
Điều chỉnh theo hướng dẫnTinh chỉnh các mô hình AI mã nguồn mở bằng Hugging Face TRLWietse Venema
Điều chỉnh theo hướng dẫnCách tinh chỉnh một smol-LM với Hugging Face, TRL và bộ dữ liệu smoltalkMayurji
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)

Hướng dẫn sử dụng hai tính năng đã bị ngừng hỗ trợ:

  • SFTTrainer(..., tokenizer=tokenizer): Hãy dùng SFTTrainer(..., processing_class=tokenizer) thay thế, hoặc đơn giản là bỏ qua tham số này (nó sẽ được suy ra từ model).
  • setup_chat_format(model, tokenizer): Sử dụng SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), trong đó chat_template_path chỉ định mô hình mà bạn muốn sao chép chat template.

Mô hình Ngôn ngữ Thị giác

Hướng dẫn

Nhiệm vụLớpMô tảTác giảHướng dẫnColab
Kiểm tra chất lượng trực quanSFTTrainerTinh chỉnh Qwen2-VL-7B cho câu hỏi trả lời trực quan trên bộ dữ liệu ChartQASergio PaniegoLiên kếtOpen In Colab
Kiểm tra chất lượng trực quanSFTTrainerTinh chỉnh SmolVLM bằng TRL trên GPU tiêu dùngSergio PaniegoLiên kếtOpen In Colab
Mô tả SEOSFTTrainerTinh chỉnh Qwen2-VL-7B để tạo mô tả thân thiện với SEO từ hình ảnhPhilipp SchmidLiên kếtOpen In Colab
Kiểm tra chất lượng trực quanDPOTrainerPaliGemma 🤝 Tối ưu hóa sở thích trực tiếpMerve NoyanLiên kếtOpen In Colab
Kiểm tra chất lượng trực quanDPOTrainerTinh chỉnh SmolVLM bằng tối ưu hóa sở thích trực tiếp (DPO) với TRL trên GPU tiêu dùngSergio PaniegoLiên kếtOpen In Colab
Định vị phát hiện đối tượngSFTTrainerFine tuning một VLM cho Object Detection Grounding bằng TRLSergio PaniegoLiên kếtOpen In Colab
Kiểm tra chất lượng trực quanDPOTrainerChỉnh huấn luyện Mô hình Ngôn ngữ Thị giác bằng TRL sử dụng MPOSergio PaniegoLiên kếtOpen In Colab
Học tăng cườngGRPOTrainerHuấn luyện sau một VLM cho suy luận bằng GRPO sử dụng TRLSergio PaniegoLiên kếtOpen In Colab

Mô hình ngôn ngữ giọng nói

Hướng dẫn

Nhiệm vụLớpMô tảTác giảHướng dẫn
Text-to-SpeechGRPOTrainerHuấn luyện lại Mô hình Ngôn ngữ Âm thanh bằng GRPO sử dụng TRLSteven ZhengLiên kết

Đóng góp

Nếu bạn có một bài hướng dẫn muốn thêm vào danh sách này, vui lòng mở một PR để thêm nó. Chúng tôi sẽ xem xét và hợp nhất nếu nó phù hợp với cộng đồng.

Update on GitHub