Параметры

• r (int) — ранг Lily. Определяет внутреннее скрытое измерение каждого адаптера и ранг обновления весов A @ B. В Lily количество адаптеров обычно меньше, чем в LoRA, поэтому каждому адаптеру требуется большая ёмкость, и рекомендуется использовать значение r больше, чем в LoRA, — как правило, в 2x, 3x или 4x раз больше ранга LoRA, который вы обычно применяете. Общее количество обучаемых параметров масштабируется по формуле r * (total_layers / stride_A + num_B), поэтому рекомендуемый компромисс — увеличивать r, сохраняя stride_A большим, а num_B — малым.
• stride_A (int) — Количество последовательных слоёв, которые используют один адаптер A. Например, если stride_A=4, каждые 4 соседних слоя используют один и тот же адаптер A, в результате чего общее количество уникальных адаптеров A составляет total_layers / stride_A Адаптер A сжимает входные данные до представления низкого ранга размера r. stride_A должно быть не меньше
  1. Рекомендуемые значения: 2, 3 или 4 (то есть обмен адаптерами каждые 2, 3 или 4 слоя). Сохранение stride_A большим (меньше различных адаптеров A) и увеличение r вместо этого приводит к лучшей производительности, чем обратный компромисс (малое stride_A, малое r). Установка stride_A=1 означает, что каждый слой имеет собственный адаптер A. Примечание: обмен адаптерами A происходит внутри каждой целевой группы (слои с одинаковым суффиксом target). Например, если ваши target_modules равны ['q_proj', 'v_proj'] и вы установили stride_A=2, то каждые 2 соседних слоя q_proj будут делить один адаптер A, а каждые 2 соседних слоя v_proj — другой адаптер A, но слои q_proj и v_proj не будут делить адаптеры A друг с другом, так как у них разные суффиксы.
• num_B (int) — Количество общих адаптеров B. В отличие от адаптеров A (которые группируются по слоям), все адаптеры B общие глобально для каждого слоя. При каждом прямом проходе маршрутизатор вычисляет взвешенную комбинацию всех num_B адаптеров B (используя веса, нормированные функцией softmax), чтобы получить единый объединенный адаптер B, который затем проецирует представление низкого ранга обратно в исходное измерение. Рекомендуется устанавливать num_B в том же порядке, что и total_layers / stride_A. Рекомендуемые значения: total_layers / 2, total_layers / 3 или total_layers / 4. Аналогично stride_A, предпочитайте меньшее num_B с большим r, чем большое num_B с малым r. Примечание: для обучения маршрутизатора необходимо как минимум 2 адаптера B (т. е. num_B >= 2), поскольку маршрутизатор учится вычислять взвешенную комбинацию адаптеров B. Примечание: общее использование адаптеров B происходит внутри каждого целевого модуля (слои с одинаковым суффиксом целевого модуля). Например, если ваши target_modules равны ['q_proj', 'v_proj'] и вы установили num_B=4, то будет 4 адаптера B, общих для всех слоев q_proj, и еще 4 адаптера B, общих для всех слоев v_proj, но слои q_proj и v_proj не будут делить адаптеры B между собой, так как у них разные суффиксы.
• target_modules (Union[List[str], str], необязательный) — Имена модулей, к которым следует применить Lily. Может быть списком строк с именами модулей (например, ['q_proj', 'v_proj']) или регулярным выражением (например, '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'). Если не указано, Lily будет применена ко всем поддерживаемым линейным слоям.
• scaling (float) — Скалярный множитель, применяемый к объединённому выводу адаптера (scaling * A @ combined_B) перед добавлением к результату прямого прохода замороженных весов. В отличие от LoRA, Lily не использует формулировку alpha / r; вместо этого scaling является прямым множителем. Такой подход упрощает перебор значений по логарифмической шкале (например, 0.01, 0.1, 1.0, 10.0). Оптимальное значение зависит от задачи и должно рассматриваться как гиперпараметр. Рекомендуем начинать со значения 1.0.
• modules_to_save (List[str], необязательный) — Список модулей, помимо слоёв Lily, которые должны быть установлены как обучаемые и сохранены в итоговой контрольной точке. Например, в задачах классификации последовательностей или классификации токенов последний слой classifier/score инициализируется случайным образом, поэтому его необходимо сделать обучаемым и сохранить.
• exclude_modules (Union[List[str], str], необязательный) — Имена модулей, к которым не следует применять адаптер. При передаче строки выполняется сопоставление по регулярному выражению. При передаче списка строк выполняется точное совпадение или проверяется, заканчивается ли имя модуля каким-либо из переданных строк.
• layers_to_transform (Union[list[int], int], необязательный) — Индексы слоев для преобразования. Если этот аргумент указан, PEFT преобразует только те индексы слоев, которые перечислены в этом списке. Если передано одно целое число, PEFT преобразует только слой с этим индексом.
• layers_pattern (Optional[Union[List[str], str]], необязательный) — Имя шаблона слоя, используется только в том случае, если layers_to_transform отличается от None и если шаблон слоя не входит в число общих шаблонов слоёв. Этот параметр должен указывать на nn.ModuleList модели, который часто называется 'layers' или 'h'.
• init_weights (bool) — Следует ли инициализировать веса адаптера Lily с использованием схемы инициализации по умолчанию: матрицы A инициализируются методом Kaiming uniform, а матрицы B — нулями, что гарантирует нулевой выход адаптера в начале обучения и отсутствие влияния на предобученную модель. Настоятельно рекомендуется оставить это значение равным True, если у вас нет конкретной причины для его изменения.

Параметры

• model (torch.nn.Module) — Модель, подлежащая адаптации.
• config (LilyConfig) — конфигурация модели Lily.
• adapter_name (str) — имя адаптера, по умолчанию "default".