LLM Course

0. Установка

1. Трансформеры

Введение Обработка естественного языка Трансформеры: на что они способны?Как работают трансформеры?Модели-кодировщики Модели-декодировщики Модели "seq2seq"Предвзятости и ограничения Итоги Тест в конце главы

2. Использование 🤗 Transformers

3. Fine-tuning предобученной модели

4. Hugging Face Hub

5. Библиотека 🤗 Datasets

6. Бибилиотека 🤗 Tokenizers

7. Основные задачи NLP

8. Как попросить о помощи

9. Создание и распространение демо

События курса

Глоссарий

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Тест в конце главы

В этой главе было много материала! Если вы чувствуете, что все еще всецело не познали все премудрости трансформеров - не переживайте! В следующих главах мы детально расскажем, как все устроено “под капотом”.

Сперва, однако, давайте проверим, что вы узнали в этой главе!

1. Зайдите на Hub и найдите чекпоинт модели roberta-large-mnli . Какую задачу она решает?

Автоматическое реферирование (саммаризация) Классификация текстов Генерация текста

2. Какой будет результат выполнения данного кода?

from transformers import pipeline

ner = pipeline("ner", grouped_entities=True)
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")

Пайплайн вернет следующие метки классов для этого предложения: "positive" или "negative". Пайплайн вернет текст, сгенерированный на основе данного предложения. Пайплайн вернет слова, обозначающие персон, организаций или географических локаций.

3. Чем нужно заменить … в данном коде?

from transformers import pipeline

filler = pipeline("fill-mask", model="bert-base-cased")
result = filler("...")

This <mask> has been waiting for you. This [MASK] has been waiting for you. This man has been waiting for you.

4. Почему этот код выдаст ошибку?

from transformers import pipeline

classifier = pipeline("zero-shot-classification")
result = classifier("This is a course about the Transformers library")

Этому пайплайну требуются метки классов. Этому пайплайну требуются несколько предложений, а не одно. Опять библиотека 🤗 Transformers не работает как положено. Этому пайплайну требуются более длинные предложения - это слишком короткое.

5. Что такое «трансферное обучение»?

Передача знаний от предобученной модели к новой модели путем ее обучения на тех же данных. Передача знаний от предобученной модели к новой модели путем инициализирования новой модели с весами предобученной. Передача знаний от предобученной модели к новой модели путем проектирования новой модели с той же самой архитектурой, что и у предобученной.

6. Правда или ложь? Для предобучения языковой модели обычно не требуются метки классов.

Правда Ложь

7. Выберите предложение, которое наилучшим способом описывает следующие термины: «модель», «архитектура» и «веса».

Модель - это здание, ее архитектура - чертеж, а веса - люди, которые там живут. Архитектура - это карта, по которой можно построить модель, а веса - это города на этой карте. Архитектура - это последовательность математических функций для создания модели, а веса - параметры этих функций.

8. Какую из этих моделей вы выберете для дополнения текста по введенной его части?

Кодировщик Декодировщик Кодировщик-декодировщик

9. Какую из этих моделей вы выберете для автоматического реферирования?

Кодировщик Декодировщик Кодировщик-декодировщик

10. Какую из этих моделей вы выберете для классификации текстов путем присвоения им определенных меток?

Кодировщик Декодировщик Кодировщик-декодировщик

11. Что может быть одной из причин предвзятости модели?

Модель была дообучена на основе предобученной модели, которая содержала в себе предвзятость. В обучающей выборке были тексты предвзятого содержания. Метрика, выбранная для оптимизации модели, была склонна к предвзятости.

Update on GitHub

←Итоги Введение→

Тест в конце главы 1. Зайдите на Hub и найдите чекпоинт модели roberta-large-mnli . Какую задачу она решает?2. Какой будет результат выполнения данного кода?3. Чем нужно заменить … в данном коде?4. Почему этот код выдаст ошибку?5. Что такое «трансферное обучение»?6. Правда или ложь? Для предобучения языковой модели обычно не требуются метки классов.7. Выберите предложение, которое наилучшим способом описывает следующие термины: «модель», «архитектура» и «веса».8. Какую из этих моделей вы выберете для дополнения текста по введенной его части?9. Какую из этих моделей вы выберете для автоматического реферирования?10. Какую из этих моделей вы выберете для классификации текстов путем присвоения им определенных меток?11. Что может быть одной из причин предвзятости модели?