Bộ thích ứng bậc cao thưa

Sparse High Rank Adapters hay SHiRA là một loại adapter thay thế và đã được chứng minh là có nhiều ưu thế đáng kể so với các adapter bậc thấp. Cụ thể, SHiRA đạt độ chính xác cao hơn LoRA trên nhiều tác vụ thị giác và ngôn ngữ. Nó cũng cung cấp phương pháp kết hợp nhiều adapter đơn giản và chất lượng cao hơn bằng cách giảm đáng kể hiện tượng mất khái niệm, một vấn đề phổ biến mà các adapter bậc thấp thường gặp phải. SHiRA trực tiếp tinh chỉnh một số lượng nhỏ các tham số của mô hình gốc để tinh chỉnh mô hình cho bất kỳ tác vụ thích ứng nào.

SHiRA hiện có ràng buộc sau:

• Chỉ hỗ trợ các lớp nn.Linear.

Tóm tắt từ bài báo là:

Low Rank Adaptation (LoRA) đã thu hút sự chú ý lớn trong nghiên cứu AI tạo sinh gần đây. Một trong những lợi thế chính của LoRA là khả năng được hợp nhất (fuse) với các mô hình được huấn luyện trước, không gây thêm chi phí trong quá trình suy luận. Tuy nhiên, từ góc độ triển khai trên thiết bị di động, chúng ta có thể tránh chi phí suy luận ở chế độ hợp nhất nhưng mất khả năng chuyển đổi bộ thích ứng (adapter) nhanh chóng, hoặc phải chịu độ trễ suy luận cao hơn đáng kể (lên đến 30%) khi cho phép chuyển đổi nhanh ở chế độ chưa hợp nhất. LoRA cũng thể hiện hiện tượng mất khái niệm (concept-loss) khi nhiều bộ thích ứng được sử dụng đồng thời. Trong bài báo này, chúng tôi đề xuất Sparse High Rank Adapters (SHiRA), một phương pháp tiếp cận mới không gây chi phí suy luận, cho phép chuyển đổi nhanh và giảm đáng kể hiện tượng mất khái niệm. Cụ thể, SHiRA có thể được huấn luyện bằng cách chỉ điều chỉnh trực tiếp 1-2% trọng số của mô hình cơ sở trong khi giữ nguyên các phần còn lại. Điều này tạo ra một bộ thích ứng có độ thưa (sparse) cao, có thể được chuyển đổi trực tiếp ở chế độ hợp nhất. Chúng tôi cũng cung cấp các nhận định lý thuyết và thực nghiệm về cách độ thưa cao trong SHiRA có thể hỗ trợ việc hợp nhất nhiều bộ thích ứng bằng cách giảm mất khái niệm. Các thí nghiệm mở rộng của chúng tôi trên LVM và LLM cho thấy việc tinh chỉnh chỉ một phần nhỏ các tham số trong mô hình cơ sở vượt trội hơn đáng kể so với LoRA, đồng thời cho phép cả chuyển đổi nhanh và hợp nhất nhiều bộ thích ứng. Cuối cùng, chúng tôi cung cấp một triển khai SHiRA hiệu quả về độ trễ và bộ nhớ dựa trên Thư viện Parameter-Efficient Finetuning (PEFT), huấn luyện với tốc độ gần như tương đương LoRA nhưng tiêu thụ ít hơn tới 16% bộ nhớ GPU đỉnh, từ đó giúp SHiRA dễ dàng áp dụng cho các trường hợp sử dụng thực tế. Để minh họa lợi ích của việc chuyển đổi nhanh trong quá trình suy luận, chúng tôi cho thấy việc nạp SHiRA vào một mô hình cơ sở có thể nhanh hơn 5 lần đến 16 lần so với việc hợp nhất LoRA trên CPU.

Tổng quan về benchmark

API

ShiraConfig

ShiraModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import ShiraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = ShiraConfig(r=32)
>>> model = get_peft_model(base_model, config)