PEANuT: Параметрически эффективная адаптация с помощью нейронных твикеров, учитывающих веса

PEANuT — это метод эффективной дообучения, который вводит нейронные модули, учитывающие веса, для генерации обновлений адаптеров непосредственно из замороженных предобученных весов. В отличие от LoRA, где обучается чисто линейное обновление низкого ранга, PEANuT обуславливает преобразование адаптера базовыми весами, что делает правило обновления более выразительным при сохранении малого количества обучаемых параметров.

PEANuT использует входную проекцию A, выходную проекцию B и необязательные промежуточные пары резидуального кодировщика/декодировщика с нелинейными активациями. Это позволяет моделировать более сложные паттерны обновления, чем вес-агностические линейные адаптеры, оставаясь при этом в рамках подхода PEFT.

В настоящее время PEANuT имеет следующие компромиссы:

Преимущества:

• Более высокая теоретическая выразительная способность по сравнению с линейными обновлениями низкого ранга.
• Лучшая производительность по сравнению с LoRA на широком спектре задач при сопоставимых бюджетах.
• Хорошо работает в режимах с очень малым числом параметров, например, около 0.2M обучаемых параметров.

Недостатки:

• Потребление памяти выше, чем у LoRA, поскольку ΔW явно конструируется перед применением.
• Обучение и инференс медленнее, чем в случае с LoRA, а более глубокие промежуточные слои дополнительно увеличивают накладные расходы.
• Нелинейность может требовать более тщательной настройки гиперпараметров, в частности скорости обучения и связанных с ней параметров оптимизации.

Если эти компромиссы не подходят для вашего сценария использования, рассмотрите другие методы PEFT, такие как LoRA.

Аннотация из статьи:

Дообучение крупных предобученных базовых моделей часто обеспечивает превосходные результаты на целевых задачах, однако обновление всех параметров сопряжено с неприемлемо высокими затратами. Методы параметрически эффективного дообучения (PEFT), такие как LoRA, смягчают эту проблему за счёт введения лёгких модулей обновления, однако они обычно опираются на линейные аппроксимации, не зависящие от весов, что ограничивает их выразительную способность. В данной работе мы предлагаем PEANuT — новый фреймворк PEFT, который вводит нейронные модули-«твикеры», учитывающие веса: компактные нейронные модули, генерирующие адаптивные к задаче обновления на основе замороженных предобученных весов. PEANuT обеспечивает гибкий и эффективный способ захвата сложных паттернов обновления без полного дообучения модели. Теоретически мы показываем, что PEANuT достигает эквивалентной или большей выразительной способности по сравнению с существующими линейными методами PEFT при сопоставимом или меньшем количестве параметров. Обширные эксперименты на четырёх бенчмарках с более чем двадцатью наборами данных демонстрируют, что PEANuT стабильно превосходит сильные базовые методы как в задачах NLP, так и в задачах компьютерного зрения, сохраняя при этом низкие вычислительные затраты.

Обзор бенчмарков

API

PeanutConfig

PeanutModel