LoHa

Tích Hadamard hạng thấp (LoHa) tương tự như LoRA, ngoại trừ việc nó xấp xỉ ma trận trọng số lớn bằng nhiều ma trận hạng thấp hơn và kết hợp chúng bằng tích Hadamard. Phương pháp này còn hiệu quả về tham số hơn LoRA và đạt được hiệu suất tương đương. LoHa ban đầu được đề xuất cho học liên bang (FedPara) nhưng hoạt động tốt như một phương pháp PEFT đa dụng, và đặc biệt phổ biến để tinh chỉnh các mô hình tạo hình ảnh như Stable Diffusion.

Lưu ý: LoHa là một phần của họ adapter LyCORIS. Người họ hàng gần của nó, LoKr, sử dụng tích Kronecker thay vì tích Hadamard.

Tóm tắt từ bài báo là:

Trong công trình này, chúng tôi đề xuất một phương pháp tham số hóa hiệu quả về mặt truyền thông, FedPara, cho học liên kết (FL) nhằm khắc phục gánh nặng do việc tải lên và tải xuống mô hình thường xuyên gây ra. Phương pháp của chúng tôi tham số hóa lại các tham số trọng số của các lớp bằng cách sử dụng trọng số hạng thấp, sau đó áp dụng tích Hadamard. So với phương pháp tham số hóa hạng thấp thông thường, phương pháp FedPara của chúng tôi không bị giới hạn bởi các ràng buộc hạng thấp, do đó có dung lượng lớn hơn rất nhiều. Đặc tính này cho phép đạt được hiệu suất tương đương trong khi yêu cầu chi phí truyền thông thấp hơn từ 3 đến 10 lần so với mô hình có các lớp gốc, điều mà các phương pháp hạng thấp truyền thống không thể đạt được. Hiệu quả của phương pháp chúng tôi có thể được cải thiện thêm bằng cách kết hợp với các bộ tối ưu FL hiệu quả khác. Ngoài ra, chúng tôi mở rộng phương pháp của mình sang ứng dụng FL cá nhân hóa, pFedPara, trong đó tách các tham số thành tham số toàn cục và tham số cục bộ. Chúng tôi chỉ ra rằng pFedPara vượt trội hơn so với các phương pháp FL cá nhân hóa cạnh tranh với số lượng tham số ít hơn hơn ba lần.

Phân rã hạng thấp có thể ảnh hưởng đến hiệu suất vì các bản cập nhật trọng số bị giới hạn trong không gian hạng thấp, điều này có thể hạn chế khả năng biểu đạt của mô hình. Tuy nhiên, bạn không nhất thiết nên sử dụng hạng lớn hơn vì nó làm tăng số lượng tham số có thể huấn luyện. Để giải quyết vấn đề này, LoHa đã được áp dụng cho các mô hình khuếch tán, nơi khả năng tạo ra các hình ảnh đa dạng là một yếu tố quan trọng. LoHa cũng nên hoạt động với các loại mô hình nói chung, nhưng hỗ trợ cho các lớp nhúng (embedding layers) hiện chưa được triển khai trong PEFT.

LoHa sử dụng tích Hadamard ((tích từng phần tử) thay vì tích ma trận. $\Delta W$ được biểu diễn bằng bốn ma trận nhỏ hơn thay vì hai - giống như trong LoRA - và mỗi cặp ma trận hạng thấp này được kết hợp bằng tích Hadamard. Kết quả là, $\Delta W$ có thể có cùng số tham số huấn luyện được nhưng hạng và khả năng biểu diễn cao hơn.

Khi nào nên sử dụng LoHa

LoHa là một lựa chọn tốt khi:

• Bạn đang tinh chỉnh mô hình tạo ảnh (Stable Diffusion UNet hoặc text encoder), nơi nó được sử dụng phổ biến nhất.
• Bạn muốn hạng hiệu dụng cao hơn so với LoRA khi cùng số tham số có thể huấn luyện, vì tích Hadamard của hai ma trận hạng thấp bao phủ một không gian con lớn hơn so với một tích hạng thấp đơn lẻ.
• Bạn muốn kết hợp các phương pháp PEFT khác nhau khi suy luận bằng PeftMixedModel, ví dụ như LoHa cùng với LoKr.

LoHa hỗ trợ các lớp linear và Conv2d. Đối với các tác vụ cần thêm thích ứng lớp embedding, hãy cân nhắc sử dụng LoRA thay thế.

Cách sử dụng

from diffusers import StableDiffusionPipeline
from peft import LoHaConfig, get_peft_model

config_unet = LoHaConfig(
    r=8,
    alpha=8,
    target_modules=[
        "to_k",
        "to_q",
        "to_v",
        "to_out.0",
        "proj_in",
        "proj_out",
    ],
    rank_dropout=0.0,
    module_dropout=0.0,
    use_effective_conv2d=True,
)

pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipeline.unet = get_peft_model(pipeline.unet, config_unet)
pipeline.unet.print_healthcheck()

Tổng quan về benchmark

API

LoHaConfig

LoHaModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoHaModel, LoHaConfig

>>> config_te = LoHaConfig(
...     r=8,
...     lora_alpha=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = LoHaConfig(
...     r=8,
...     lora_alpha=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
...     use_effective_conv2d=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = LoHaModel(model.text_encoder, config_te, "default")
>>> model.unet = LoHaModel(model.unet, config_unet, "default")