Sử dụng mô hình sau khi huấn luyện

Sau khi bạn đã huấn luyện một mô hình bằng cách sử dụng SFTTrainer hoặc DPOTrainer, bạn sẽ có một mô hình đã tinh chỉnh có thể được dùng để tạo văn bản. Trong phần này, chúng ta sẽ đi qua quy trình tải mô hình đã tinh chỉnh và tạo văn bản. Nếu bạn cần chạy một máy chủ suy luận với mô hình đã huấn luyện, bạn có thể khám phá các thư viện như text-generation-inference.

Tải và Sinh

Nếu bạn đã tinh chỉnh một mô hình hoàn toàn, nghĩa là không sử dụng PEFT, bạn có thể đơn giản tải nó lên như bất kỳ mô hình ngôn ngữ nào khác trong transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name_or_path = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
device = torch.accelerator.current_accelerator() if torch.accelerator.is_available() else "cpu"

model = AutoModelForCausalLM.from_pretrained(model_name_or_path).to(device)
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

inputs = tokenizer.encode("This movie was really", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

Ngoài ra, bạn cũng có thể sử dụng pipeline:

from transformers import pipeline

model_name_or_path = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
pipe = pipeline("text-generation", model=model_name_or_path)
print(pipe("This movie was really")[0]["generated_text"])

Sử dụng Adapters PEFT

from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model_name = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
adapter_model_name = "path/to/my/adapter"

model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)

tokenizer = AutoTokenizer.from_pretrained(base_model_name)

Bạn cũng có thể hợp nhất các adapter vào mô hình gốc để có thể sử dụng mô hình như một mô hình transformers thông thường, tuy nhiên checkpoint sẽ lớn hơn đáng kể:

model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)

model = model.merge_and_unload()
model.save_pretrained("merged_adapters")

Sau khi bạn đã tải mô hình và gộp các adapter hoặc giữ chúng riêng biệt ở trên, bạn có thể chạy quá trình sinh văn bản như với một mô hình thông thường như đã mô tả ở trên.

Update on GitHub

TRL

Sử dụng mô hình sau khi huấn luyện

Tải và Sinh

Sử dụng Adapters PEFT