# MiSS [MiSS (Matrix Shard Sharing)](https://arxiv.org/abs/2409.15371) adalah metode PEFT yang mencapai keseimbangan yang baik antara kinerja model dan efisiensi komputasi. Metode ini hanya memerlukan satu matriks yang dapat dilatih dan memperkenalkan mekanisme berbagi shard yang berbeda dari LoRA. Abstrak dari makalah tersebut adalah: *Metode Fine-Tuning yang Efisien Parameter (PEFT), khususnya Low-Rank Adaptation (LoRA), secara efektif mengurangi jumlah parameter yang dapat dilatih pada Large Language Models (LLM). Namun, seiring terus membesarnya skala model, kebutuhan akan sumber daya komputasi tetap menjadi tantangan signifikan. Varian LoRA yang ada sering kali kesulitan mencapai keseimbangan optimal antara kemampuan adaptasi (kinerja model dan kecepatan konvergensi) dan efisiensi (beban komputasi, penggunaan memori, dan waktu inisialisasi). Kertas kerja ini memperkenalkan MiSS (Matrix Shard Sharing), pendekatan PEFT baru yang mengatasi trade-off ini melalui mekanisme berbagi shard yang sederhana. MiSS memanfaatkan wawasan bahwa adaptasi low-rank dapat dicapai dengan mendekomposisi matriks bobot menjadi beberapa matriks fragmen dan memanfaatkan fragmen bersama yang dapat dilatih. Metode ini membangun matriks pembaruan low-rank melalui replikasi shard-partisi bersama ini. Kami juga mengusulkan implementasi yang efisien secara hardware dan luas penerapannya untuk MiSS. Eksperimen ekstensif yang dilakukan pada berbagai tugas, bersama dengan analisis sistematis kinerja komputasi, menunjukkan keunggulan MiSS. Hasilnya menunjukkan bahwa MiSS secara signifikan melampaui LoRA standar dan variannya yang menonjol dalam metrik kinerja model maupun efisiensi komputasi, termasuk kecepatan inisialisasi dan throughput pelatihan. Dengan menyeimbangkan kekuatan ekspresif dan pemanfaatan sumber daya secara efektif, MiSS menawarkan solusi yang menarik untuk mengadaptasi model berskala besar secara efisien.* ## Ikhtisar benchmark