Prefix tuning

Prefix tuning thêm một chuỗi các vector đặc thù cho tác vụ vào đầu chuỗi đầu vào, có thể được học trong khi giữ nguyên mô hình được huấn luyện trước. Các tham số prefix được chèn vào tất cả các lớp của mô hình.

Tóm tắt từ bài báo là:

Fine-tuning là cách thực tế để khai thác các mô hình ngôn ngữ lớn được huấn luyện trước nhằm thực hiện các tác vụ downstream. Tuy nhiên, phương pháp này thay đổi tất cả các tham số của mô hình ngôn ngữ, do đó đòi hỏi phải lưu trữ một bản sao đầy đủ cho mỗi tác vụ. Trong bài báo này, chúng tôi đề xuất prefix-tuning, một phương án thay thế nhẹ nhàng cho fine-tuning trong các tác vụ sinh ngôn ngữ tự nhiên, giữ nguyên các tham số của mô hình ngôn ngữ nhưng tối ưu hóa một vector liên tục nhỏ, đặc thù cho từng tác vụ (gọi là prefix). Prefix-tuning lấy cảm hứng từ prompting, cho phép các token tiếp theo chú ý đến prefix này như thể nó là các “token ảo”. Chúng tôi áp dụng prefix-tuning cho GPT-2 trong tác vụ sinh văn bản từ bảng và cho BART trong tác vụ tóm tắt. Chúng tôi nhận thấy rằng bằng cách chỉ học 0,1% số tham số, prefix-tuning đạt được hiệu suất tương đương trong cài đặt dữ liệu đầy đủ, vượt trội hơn fine-tuning trong các cài đặt dữ liệu ít, và ngoại suy tốt hơn đối với các ví dụ có chủ đề chưa từng thấy trong quá trình huấn luyện.

Lưu ý Đối với các mô hình encoder-decoder (seq2seq), tiền tố chỉ được áp dụng cho phần decoder, điều này không khớp với quy định trong bài báo (xem ví dụ Hình 2). Prefix tuning vẫn có thể được tinh chỉnh trên các kiến trúc mô hình này nhưng hiệu suất có thể không tối ưu; hãy cân nhắc sử dụng các phương pháp PEFT khác cho các mô hình encoder-decoder.

Prefix tuning rất giống với prompt tuning. Sự khác biệt chính là các tham số prefix được chèn vào tất cả các lớp của mô hình, trong khi prompt tuning chỉ thêm các tham số prompt vào các embedding đầu vào của mô hình. Các tham số prefix cũng được tối ưu hóa bởi một mạng feed-forward (FFN) riêng biệt thay vì huấn luyện trực tiếp trên các soft prompt vì điều này gây ra sự bất ổn và làm giảm hiệu suất. Mạng FFN sẽ bị loại bỏ sau khi cập nhật các soft prompt.

Do đó, các tác giả nhận thấy rằng prefix tuning thể hiện hiệu suất tương đương với việc tinh chỉnh hoàn toàn một mô hình, mặc dù có ít tham số hơn 1000 lần, và nó thậm chí còn hoạt động tốt hơn trong các cài đặt có ít dữ liệu.

Cách sử dụng cơ bản

Tạo một PrefixTuningConfig với loại tác vụ và số lượng token ảo cần thêm và học.

from peft import PrefixTuningConfig, get_peft_model

peft_config = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Các Khởi Tạo Có Thể

Mặc định, prefix tuning sử dụng các token ảo được khởi tạo ngẫu nhiên. Ngoài ra, bạn cũng có thể khởi tạo các vector này sao cho gần với một phép toán không làm gì (khởi tạo bằng 0, nó vẫn sẽ dịch chuyển một chút khối lượng xác suất). Điều này có nghĩa là các prefix được tiêm vào KV-cache sẽ có ít tác động hơn ngay từ đầu và làm giảm phương sai trong hiệu suất huấn luyện.

PEFT cũng cung cấp các tiện ích để khởi tạo bộ thích ứng prefix-tuning từ một tiền tố KV cache hiện có (ví dụ, từ p token đầu tiên của một prompt/corpus). Tính năng này chỉ được hỗ trợ khi prefix_projection=False (mặc định), vì trong trường hợp đó, các tham số được học chính là tiền tố KV.

from transformers import AutoModelForCausalLM, AutoTokenizer

from peft import PrefixTuningConfig, get_peft_model, initialize_kv_prefix_from_text

base = AutoModelForCausalLM.from_pretrained("gpt2")
tok = AutoTokenizer.from_pretrained("gpt2")

peft_cfg = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, prefix_projection=False)
model = get_peft_model(base, peft_cfg)

initialize_kv_prefix_from_text(
    model,
    tok,
    text="...a long context with at least num_virtual_tokens tokens...",
    use_chat_template=False,
)m peft import PrefixTuningConfig, get_peft_model, initialize_kv_prefix_from_text

base = AutoModelForCausalLM.from_pretrained("gpt2")
tok = AutoTokenizer.from_pretrained("gpt2")

peft_cfg = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, prefix_projection=False)
model = get_peft_model(base, peft_cfg)

initialize_kv_prefix_from_text(
    model,
    tok,
    text="...a long context with at least num_virtual_tokens tokens...",
    use_chat_template=False,
)

Hãy đảm bảo văn bản đủ dài để tạo ra ít nhất num_virtual_tokens token, nếu không quá trình khởi tạo sẽ thất bại.

Như một hướng dẫn:

• bắt đầu với một chuỗi khởi đầu trung tính bằng cách sử dụng initialize_kv_prefix_from_text, nó có thể là một chuỗi rất ngắn như “Question: ”
• nếu điều đó không hữu ích, hãy sử dụng một chuỗi dài hơn có liên quan đến tác vụ (tức là một prompt được thiết kế kỹ thuật), cho bạn nhiều token ảo hơn để khớp nhưng cũng tăng khả năng điều hướng mô hình
• nếu không thể sử dụng văn bản khởi tạo hoặc bạn muốn kiểm tra nhanh xem prefix tuning có khả thi hay không, hãy sử dụng zero init không có projection

Tổng quan về benchmark

API

PrefixTuningConfig

PrefixEncoder

>>> from peft import PrefixEncoder, PrefixTuningConfig

>>> config = PrefixTuningConfig(
...     peft_type="PREFIX_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     encoder_hidden_size=768,
... )
>>> prefix_encoder = PrefixEncoder(config)