AdaLoRA

AdaLoRA (Adaptive LoRA) — это метод оптимизации количества обучаемых параметров, выделяемых матрицам весов и слоям. В отличие от LoRA, который распределяет параметры равномерно по всем модулям, AdaLoRA выделяет больше параметров для важных матриц весов и слоёв, а менее важным — меньше. Вы можете контролировать среднее желаемое rank или r матриц, а также то, к каким модулям применять AdaLoRA, с помощью target_modules. Другие важные параметры, которые необходимо задать, — это lora_alpha (коэффициент масштабирования) и modules_to_save (модули, помимо слоёв AdaLoRA, которые нужно обучить и сохранить). Все эти параметры, а также другие, можно найти в AdaLoraConfig.

Аннотация из статьи:

Дообучение крупных предобученных языковых моделей на задачах нижнего уровня стало важной парадигмой в NLP. Однако в обычной практике дообучаются все параметры предобученной модели, что становится недопустимо затратным при наличии большого числа задач нижнего уровня. Поэтому предложено множество методов дообучения, которые обучают инкрементальные обновления предобученных весов с высокой эффективностью по параметрам, например, с использованием приращений низкого ранга. Эти методы часто равномерно распределяют бюджет инкрементальных обновлений по всем матрицам предобученных весов, игнорируя различную важность отдельных весовых параметров. В результате качество дообучения оказывается неоптимальным. Чтобы восполнить этот пробел, мы предлагаем AdaLoRA, который адаптивно распределяет бюджет параметров между матрицами весов в соответствии с их оценкой важности. В частности, AdaLoRA параметризует инкрементальные обновления в форме разложения по сингулярным значениям. Такой новый подход позволяет эффективно отсекать сингулярные значения неважных обновлений, что по сути означает сокращение их бюджета параметров, но без необходимости интенсивных точных вычислений SVD. Мы провели обширные эксперименты с несколькими предобученными моделями на задачах обработки естественного языка, ответов на вопросы и генерации естественного языка, чтобы подтвердить эффективность AdaLoRA. Результаты показывают, что AdaLoRA демонстрирует значительное улучшение по сравнению с базовыми методами, особенно в условиях малого бюджета. Наш код доступен по адресу https://github.com/QingruZhang/AdaLoRA.

У AdaLoRA есть метод update_and_allocate(), который следует вызывать на каждом шаге обучения для обновления бюджета параметров и маски, иначе шаг адаптации не будет выполнен. Для этого необходимо написать собственный цикл обучения или создать подкласс Trainer, чтобы включить этот метод. В качестве примера посмотрите на этот собственный цикл обучения.

AdaLoRA управляет бюджетом параметров, введённым в LoRA, выделяя больше параметров — другими словами, более высокий ранг r - для важных матриц весов, которые лучше адаптированы для задачи, и удаляя менее важные. Ранг контролируется методом, похожим на разложение по сингулярным значениям (SVD). Матрица $\Delta W$ параметризуется с помощью двух ортогональных матриц и диагональной матрицы, содержащей сингулярные значения. Этот метод параметризации позволяет избежать итеративного применения SVD, которое вычислительно дорого. На основе этого метода ранг матрицы $\Delta W$ корректируется в соответствии с оценкой важности. $\Delta W$ разбивается на тройки, и каждая тройка оценивается по её вкладу в производительность модели. Тройки с низкой оценкой важности удаляются, а тройки с высокой оценкой важности сохраняются для дообучения.

Обучение с AdaLoRA состоит из трёх фаз: начальной фазы, фазы распределения бюджета и финальной фазы. В начальной фазе распределение бюджета не применяется, поэтому ранги не изменяются. В фазе распределения бюджета применяется описанный выше процесс, и ранги перераспределяются в соответствии с бюджетом: более важным адаптерам выделяется больший ранг, а менее важным слоям — меньший. При переходе к финальной фазе распределение бюджета завершается, ранги перераспределяются, но обучение может продолжаться некоторое время с новыми рангами для дальнейшего повышения производительности.

Приветствуем вклад: Этот раздел нуждается в уточнении.

Неясно, как измеряется значимость. Пояснения также несколько избыточны и могли бы быть объединены. См. здесь, как внести вклад.

Обзор бенчмарков

Использование

from peft import AdaLoraConfig, get_peft_model

config = AdaLoraConfig(
    r=8,
    init_r=12,
    tinit=200,
    tfinal=1000,
    deltaT=10,
    target_modules=["query", "value"],
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()

[... training code ...]

model.update_and_allocate(step_idx)

API

AdaLoraConfig

AdaLoraModel

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import AdaLoraConfig, get_peft_model

>>> config = AdaLoraConfig(
...     peft_type="ADALORA",
...     task_type="SEQ_2_SEQ_LM",
...     init_r=12,
...     lora_alpha=32,
...     target_modules=["q", "v"],
...     lora_dropout=0.01,
...     total_step=1000,
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> adalora_model = get_peft_model(model, config)

>>> loss = model(**input).loss
>>> loss.backward()
>>> optimizer.step()
>>> model.base_model.update_and_allocate(i_step)
>>> optimizer.zero_grad()