MiSS

MiSS (Matrix Shard Sharing) adalah metode PEFT yang mencapai keseimbangan yang baik antara kinerja model dan efisiensi komputasi. Metode ini hanya memerlukan satu matriks yang dapat dilatih dan memperkenalkan mekanisme berbagi shard yang berbeda dari LoRA.

Abstrak dari makalah tersebut adalah:

Metode Fine-Tuning yang Efisien Parameter (PEFT), khususnya Low-Rank Adaptation (LoRA), secara efektif mengurangi jumlah parameter yang dapat dilatih pada Large Language Models (LLM). Namun, seiring terus membesarnya skala model, kebutuhan akan sumber daya komputasi tetap menjadi tantangan signifikan. Varian LoRA yang ada sering kali kesulitan mencapai keseimbangan optimal antara kemampuan adaptasi (kinerja model dan kecepatan konvergensi) dan efisiensi (beban komputasi, penggunaan memori, dan waktu inisialisasi). Kertas kerja ini memperkenalkan MiSS (Matrix Shard Sharing), pendekatan PEFT baru yang mengatasi trade-off ini melalui mekanisme berbagi shard yang sederhana. MiSS memanfaatkan wawasan bahwa adaptasi low-rank dapat dicapai dengan mendekomposisi matriks bobot menjadi beberapa matriks fragmen dan memanfaatkan fragmen bersama yang dapat dilatih. Metode ini membangun matriks pembaruan low-rank melalui replikasi shard-partisi bersama ini. Kami juga mengusulkan implementasi yang efisien secara hardware dan luas penerapannya untuk MiSS. Eksperimen ekstensif yang dilakukan pada berbagai tugas, bersama dengan analisis sistematis kinerja komputasi, menunjukkan keunggulan MiSS. Hasilnya menunjukkan bahwa MiSS secara signifikan melampaui LoRA standar dan variannya yang menonjol dalam metrik kinerja model maupun efisiensi komputasi, termasuk kecepatan inisialisasi dan throughput pelatihan. Dengan menyeimbangkan kekuatan ekspresif dan pemanfaatan sumber daya secara efektif, MiSS menawarkan solusi yang menarik untuk mengadaptasi model berskala besar secara efisien.

Ikhtisar benchmark

Kapan menggunakan MiSS

MiSS adalah pilihan yang tepat ketika:

• Anda menginginkan inisialisasi yang lebih cepat dan throughput pelatihan yang lebih tinggi daripada skema inisialisasi LoRA lanjutan yang menggunakan setup mahal (seperti PiSSA, LoRA-GA, atau OLoRA).
• Anda menginginkan alternatif drop-in untuk LoRA dengan perubahan konfigurasi yang minimal.

Jika Anda membutuhkan ekspresivitas yang lebih kuat dengan mengorbankan sedikit efisiensi, pertimbangkan varian inisialisasi bat (lihat di bawah).

mode init_weights

MiSS mendukung tiga mode inisialisasi melalui parameter init_weights:

• True (default): Inisialisasi MiSS standar. Titik awal terbaik untuk sebagian besar kasus penggunaan.
• "bat": Mengaktifkan pembaruan nonlinier di antara shard yang berbeda. Menghasilkan hasil yang lebih baik daripada MiSS standar, tetapi menggunakan lebih banyak memori dan sekitar dua kali lebih lambat. Gunakan ini ketika performa menjadi prioritas di atas efisiensi.
• "mini": Menggunakan rank yang lebih kecil di sepanjang dimensi out_features, dikendalikan oleh mini_r. Hal ini mengurangi jumlah parameter yang dapat dilatih lebih lanjut. Saat menggunakan mode ini, mini_r harus diatur dan out_features harus dapat dibagi habis oleh mini_r.

Mulai cepat

import torch
from peft import MissConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer.pad_token_id = tokenizer.eos_token_id

# Standard MiSS
config = MissConfig(
    r=64,
    miss_dropout=0.01,
    task_type="CAUSAL_LM"
)

# BAT variant — better performance, more memory
# config = MissConfig(
#     r=64,
#     init_weights="bat",
#     task_type="CAUSAL_LM"
# )

# Mini variant — fewer trainable parameters
# config = MissConfig(
#     r=64,
#     init_weights="mini",
#     mini_r=8,
#     task_type="CAUSAL_LM"
# )

model = get_peft_model(model, config)
model.print_healthcheck()

Untuk contoh fine-tuning lengkap yang mencakup pelatihan dan inferensi, lihat contoh fine-tuning MiSS.

API

MissConfig

MissModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import MissModel, MissConfig

>>> config_te = MissConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = MissConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = MissModel(model.text_encoder, config_te, "default")
>>> model.unet = MissModel(model.unet, config_unet, "default")