이 모델은 2022-07-11에 HF papers에 게시되었으며, 2022-07-18에 Hugging Face Transformers에 기여되었습니다.

NLLB

개요

NLLB: No Language Left Behind는 다국어 번역 모델입니다. 저자원 언어에 맞춤화된 데이터 마이닝 기법을 활용한 데이터로 학습되었으며, 200개 이상의 언어를 지원합니다. NLLB는 Sparsely Gated Mixture of Experts를 사용하는 조건부 컴퓨트 아키텍처를 갖추고 있습니다.

모든 NLLB 원본 체크포인트는 AI at Meta 조직에서 찾을 수 있습니다.

이 모델은 Lysandre가 기여했습니다. NLLB를 다양한 번역 작업에 적용하는 방법에 대한 추가 예제는 오른쪽 사이드바의 NLLB 모델에서 확인하세요.

아래 예제는 Pipeline 또는 AutoModel 클래스를 사용하여 텍스트를 번역하는 방법을 보여줍니다.

from transformers import pipeline


pipeline = pipeline(task="translation", model="facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn", device=0)
pipeline("UN Chief says there is no military solution in Syria")

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M", attn_implementation="sdpa", device_map="auto")

article = "UN Chief says there is no military solution in Syria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)

translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 Quantization 개요를 참조하세요.

아래 예제는 bitsandbytes를 사용하여 가중치를 8비트로 양자화합니다.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, BitsAndBytesConfig


bnb_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-1.3B", quantization_config=bnb_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-1.3B")

article = "UN Chief says there is no military solution in Syria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)
translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30,
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])

AttentionMaskVisualizer를 사용하여 모델이 어떤 토큰에 주의를 기울일 수 있고, 어떤 토큰에는 기울일 수 없는지 더 잘 이해해 보세요.

from transformers.utils.attention_visualizer import AttentionMaskVisualizer


visualizer = AttentionMaskVisualizer("facebook/nllb-200-distilled-600M")
visualizer("UN Chief says there is no military solution in Syria")

The input is a single word "Notes". 참고

• 토크나이저는 2023년 4월에 업데이트되어, 대상 언어 대신 소스 언어로 소스 시퀀스에 접두사를 붙이도록 변경되었습니다. 이를 통해 제로샷 성능을 우선시하되, 지도 학습 성능에는 미미한 비용이 발생합니다.

  복사됨

  from transformers import NllbTokenizer
  
  tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  tokenizer("How was your day?").input_ids
  [256047, 13374, 1398, 4260, 4039, 248130, 2]

  레거시 동작으로 되돌리려면 아래 코드 예제를 사용하세요.

  복사됨

  from transformers import NllbTokenizer
  
  tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M", legacy_behaviour=True)

• 영어 이외의 언어의 경우, 아래에 표시된 대로 src_lang 키워드에 해당 언어의 BCP-47 코드를 지정합니다.

• 루마니아어에서 독일어로 번역하는 예시는 아래를 참조하세요.

  복사됨

  from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
  
  tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M", device_map="auto")
  
  article = "UN Chief says there is no military solution in Syria"
  inputs = tokenizer(article, return_tensors="pt").to(model.device)
  
  translated_tokens = model.generate(
      **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30
  )
  tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
  Le chef de l'ONU dit qu'il n'y a pas de solution militaire en Syrie

NllbTokenizer

>>> from transformers import NllbTokenizer

>>> tokenizer = NllbTokenizer.from_pretrained(
...     "facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")