





from ...configuration_utils import PretrainedConfig
from ...utils import logging


_lowerCamelCase			       =      logging.get_logger(__name__)

_lowerCamelCase			       =      {'ctrl': 'https://huggingface.co/ctrl/resolve/main/config.json'}







class 			__A       (      lowerCamelCase__  ):




      """simple docstring"""







      UpperCAmelCase__						=      """ctrl"""
      UpperCAmelCase__						=      ["""past_key_values"""]
      UpperCAmelCase__						=      {
          """max_position_embeddings""": """n_positions""",
          """hidden_size""": """n_embd""",
          """num_attention_heads""": """n_head""",
          """num_hidden_layers""": """n_layer""",
      }


      def __init__(		self      ,							a__=24_6534      ,							a__=256      ,							a__=1280      ,							a__=8192      ,							a__=48      ,							a__=16      ,							a__=0.1      ,							a__=0.1      ,							a__=1e-6      ,							a__=0.02      ,							a__=True      ,							**a__      ,							):



             """simple docstring"""





             _lowerCamelCase							:     List[Any]	=		vocab_size
             _lowerCamelCase							:     Optional[Any]	=		n_positions
             _lowerCamelCase							:     Tuple	=		n_embd
             _lowerCamelCase							:     int	=		n_layer
             _lowerCamelCase							:     Dict	=		n_head
             _lowerCamelCase							:     Optional[int]	=		dff
             _lowerCamelCase							:     Optional[int]	=		resid_pdrop
             _lowerCamelCase							:     int	=		embd_pdrop
             _lowerCamelCase							:     Optional[Any]	=		layer_norm_epsilon
             _lowerCamelCase							:     int	=		initializer_range

             _lowerCamelCase							:     List[str]	=		use_cache

             super().__init__(**a__)








import os
import pickle
import unittest

from transformers import AutoTokenizer
from transformers.models.bert.tokenization_bert import BertTokenizer
from transformers.models.bert_japanese.tokenization_bert_japanese import (
    VOCAB_FILES_NAMES,
    BertJapaneseTokenizer,
    CharacterTokenizer,
    JumanppTokenizer,
    MecabTokenizer,
    SudachiTokenizer,
    WordpieceTokenizer,
)
from transformers.testing_utils import custom_tokenizers, require_jumanpp, require_sudachi

from ...test_tokenization_common import TokenizerTesterMixin







@custom_tokenizers
class 			__A       (      lowerCamelCase__ ,unittest.TestCase  ):




      """simple docstring"""







      UpperCAmelCase__						=      BertJapaneseTokenizer
      UpperCAmelCase__						=      False
      UpperCAmelCase__						=      True


      def 				__snake_case			(		self):



             """simple docstring"""





             super().setUp()

             _lowerCamelCase							:     Optional[int]	=		[
                 '''[UNK]''',
                 '''[CLS]''',
                 '''[SEP]''',
                 '''こんにちは''',
                 '''こん''',
                 '''にちは''',
                 '''ばんは''',
                 '''##こん''',
                 '''##にちは''',
                 '''##ばんは''',
                 '''世界''',
                 '''##世界''',
                 '''、''',
                 '''##、''',
                 '''。''',
                 '''##。''',
             ]

             _lowerCamelCase							:     Dict	=		os.path.join(self.tmpdirname      ,							VOCAB_FILES_NAMES['''vocab_file'''])
             with open(self.vocab_file      ,							'''w'''      ,							encoding='''utf-8''') as vocab_writer:
                    vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]))


      def 				__snake_case			(		self      ,							a__):



             """simple docstring"""





             _lowerCamelCase							:     Dict	=		'''こんにちは、世界。 \nこんばんは、世界。'''
             _lowerCamelCase							:     Union[str, Any]	=		'''こんにちは 、 世界 。 こんばんは 、 世界 。'''
             return input_text, output_text


      def 				__snake_case			(		self      ,							a__):



             """simple docstring"""





             _lowerCamelCase,  _lowerCamelCase							:     int	=		self.get_input_output_texts(a__)
             _lowerCamelCase							:     Optional[Any]	=		tokenizer.encode(a__      ,							add_special_tokens=a__)
             _lowerCamelCase							:     str	=		tokenizer.decode(a__      ,							clean_up_tokenization_spaces=a__)
             return text, ids


      def 				__snake_case			(		self):



             """simple docstring"""





             pass  # TODO add if relevant


      def 				__snake_case			(		self):



             """simple docstring"""





             pass  # TODO add if relevant


      def 				__snake_case			(		self):



             """simple docstring"""





             pass  # TODO add if relevant


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     int	=		self.tokenizer_class(self.vocab_file)

             _lowerCamelCase							:     Tuple	=		tokenizer.tokenize('''こんにちは、世界。\nこんばんは、世界。''')
             self.assertListEqual(a__      ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''])
             self.assertListEqual(tokenizer.convert_tokens_to_ids(a__)      ,							[3, 12, 10, 14, 4, 9, 12, 10, 14])


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     str	=		self.tokenizer_class(self.vocab_file      ,							word_tokenizer_type='''mecab''')
             self.assertIsNotNone(a__)

             _lowerCamelCase							:     List[str]	=		'''こんにちは、世界。\nこんばんは、世界。'''
             _lowerCamelCase							:     int	=		tokenizer.tokenize(a__)
             self.assertListEqual(a__      ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''])
             self.assertListEqual(tokenizer.convert_tokens_to_ids(a__)      ,							[3, 12, 10, 14, 4, 9, 12, 10, 14])

             _lowerCamelCase							:     Optional[int]	=		os.path.join(self.tmpdirname      ,							'''tokenizer.bin''')
             with open(a__      ,							'''wb''') as handle:
                    pickle.dump(a__      ,							a__)

             with open(a__      ,							'''rb''') as handle:
                    _lowerCamelCase							:     List[str]	=		pickle.load(a__)

             _lowerCamelCase							:     Dict	=		tokenizer_new.tokenize(a__)

             self.assertListEqual(a__      ,							a__)


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Union[str, Any]	=		MecabTokenizer(mecab_dic='''ipadic''')

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップルストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']      ,							)


      def 				__snake_case			(		self):



             """simple docstring"""





             try:
                    _lowerCamelCase							:     str	=		MecabTokenizer(mecab_dic='''unidic_lite''')
             except ModuleNotFoundError:
                    return

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']      ,							)


      def 				__snake_case			(		self):



             """simple docstring"""





             try:
                    _lowerCamelCase							:     int	=		MecabTokenizer(mecab_dic='''unidic''')
             except ModuleNotFoundError:
                    return

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']      ,							)


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     List[Any]	=		MecabTokenizer(do_lower_case=a__      ,							mecab_dic='''ipadic''')

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップルストア''', '''で''', '''iphone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']      ,							)


      def 				__snake_case			(		self):



             """simple docstring"""





             try:
                    _lowerCamelCase							:     Any	=		MecabTokenizer(
                        do_lower_case=a__      ,							normalize_text=a__      ,							mecab_option='''-d /usr/local/lib/mecab/dic/jumandic''')
             except RuntimeError:
                    # if dict doesn't exist in the system, previous code raises this error.
                    return

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']      ,							)


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Optional[int]	=		MecabTokenizer(normalize_text=a__      ,							mecab_dic='''ipadic''')

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''　''', '''。''']      ,							)


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Optional[int]	=		self.tokenizer_class(self.vocab_file      ,							word_tokenizer_type='''sudachi''')
             self.assertIsNotNone(a__)

             _lowerCamelCase							:     Tuple	=		'''こんにちは、世界。\nこんばんは、世界。'''
             _lowerCamelCase							:     Tuple	=		tokenizer.tokenize(a__)
             self.assertListEqual(a__      ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''])
             self.assertListEqual(tokenizer.convert_tokens_to_ids(a__)      ,							[3, 12, 10, 14, 4, 9, 12, 10, 14])

             _lowerCamelCase							:     Tuple	=		os.path.join(self.tmpdirname      ,							'''tokenizer.bin''')
             with open(a__      ,							'''wb''') as handle:
                    pickle.dump(a__      ,							a__)

             with open(a__      ,							'''rb''') as handle:
                    _lowerCamelCase							:     str	=		pickle.load(a__)

             _lowerCamelCase							:     Any	=		tokenizer_new.tokenize(a__)

             self.assertListEqual(a__      ,							a__)


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Optional[int]	=		SudachiTokenizer(sudachi_dict_type='''core''')

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']      ,							)


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Dict	=		SudachiTokenizer(sudachi_dict_type='''core'''      ,							sudachi_split_mode='''A''')

             self.assertListEqual(tokenizer.tokenize('''外国人参政権''')      ,							['''外国''', '''人''', '''参政''', '''権'''])


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Union[str, Any]	=		SudachiTokenizer(sudachi_dict_type='''core'''      ,							sudachi_split_mode='''B''')

             self.assertListEqual(tokenizer.tokenize('''外国人参政権''')      ,							['''外国人''', '''参政権'''])


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Dict	=		SudachiTokenizer(sudachi_dict_type='''core'''      ,							sudachi_split_mode='''C''')

             self.assertListEqual(tokenizer.tokenize('''外国人参政権''')      ,							['''外国人参政権'''])


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Tuple	=		SudachiTokenizer(do_lower_case=a__      ,							sudachi_dict_type='''core''')

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']      ,							)


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Union[str, Any]	=		SudachiTokenizer(normalize_text=a__      ,							sudachi_dict_type='''core''')

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							[''' ''', '''\t''', '''ｱｯﾌﾟﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', '''\u3000''', '''。''', ''' ''', ''' ''']      ,							)


      @require_sudachi
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     List[Any]	=		SudachiTokenizer(trim_whitespace=a__      ,							sudachi_dict_type='''core''')

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']      ,							)


      @require_jumanpp
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Any	=		self.tokenizer_class(self.vocab_file      ,							word_tokenizer_type='''jumanpp''')
             self.assertIsNotNone(a__)

             _lowerCamelCase							:     List[str]	=		'''こんにちは、世界。\nこんばんは、世界。'''
             _lowerCamelCase							:     List[str]	=		tokenizer.tokenize(a__)
             self.assertListEqual(a__      ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。'''])
             self.assertListEqual(tokenizer.convert_tokens_to_ids(a__)      ,							[3, 12, 10, 14, 4, 9, 12, 10, 14])

             _lowerCamelCase							:     List[str]	=		os.path.join(self.tmpdirname      ,							'''tokenizer.bin''')
             with open(a__      ,							'''wb''') as handle:
                    pickle.dump(a__      ,							a__)

             with open(a__      ,							'''rb''') as handle:
                    _lowerCamelCase							:     Optional[Any]	=		pickle.load(a__)

             _lowerCamelCase							:     Dict	=		tokenizer_new.tokenize(a__)

             self.assertListEqual(a__      ,							a__)


      @require_jumanpp
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Optional[Any]	=		JumanppTokenizer()

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']      ,							)


      @require_jumanpp
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Optional[Any]	=		JumanppTokenizer(do_lower_case=a__)

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']      ,							)


      @require_jumanpp
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Dict	=		JumanppTokenizer(normalize_text=a__)

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''ｱ''', '''ｯ''', '''ﾌ''', '''ﾟ''', '''ﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']      ,							)


      @require_jumanpp
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     int	=		JumanppTokenizer(trim_whitespace=a__)

             self.assertListEqual(
                 tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  ''')      ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れた''', '''。''']      ,							)


      @require_jumanpp
      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Any	=		JumanppTokenizer()

             self.assertListEqual(
                 tokenizer.tokenize('''ありがとうございますm(_ _)ｍ見つけるのが大変です。''')      ,							['''ありがとう''', '''ございます''', '''m(_ _)m''', '''見つける''', '''の''', '''が''', '''大変です''', '''。''']      ,							)


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     str	=		['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こんにちは''', '''こん''', '''にちは''', '''ばんは''', '''##こん''', '''##にちは''', '''##ばんは''']

             _lowerCamelCase							:     List[str]	=		{}
             for i, token in enumerate(a__):
                    _lowerCamelCase							:     Optional[Any]	=		i
             _lowerCamelCase							:     Union[str, Any]	=		WordpieceTokenizer(vocab=a__      ,							unk_token='''[UNK]''')

             self.assertListEqual(tokenizer.tokenize('''''')      ,							[])

             self.assertListEqual(tokenizer.tokenize('''こんにちは''')      ,							['''こんにちは'''])

             self.assertListEqual(tokenizer.tokenize('''こんばんは''')      ,							['''こん''', '''##ばんは'''])

             self.assertListEqual(tokenizer.tokenize('''こんばんは こんばんにちは こんにちは''')      ,							['''こん''', '''##ばんは''', '''[UNK]''', '''こんにちは'''])


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Tuple	=		BertJapaneseTokenizer.from_pretrained('''nlp-waseda/roberta-base-japanese-with-auto-jumanpp''')
             _lowerCamelCase							:     str	=		tokenizer.subword_tokenizer

             _lowerCamelCase							:     Any	=		subword_tokenizer.tokenize('''国境 の 長い トンネル を 抜ける と 雪国 であった 。''')
             self.assertListEqual(a__      ,							['''▁国境''', '''▁の''', '''▁長い''', '''▁トンネル''', '''▁を''', '''▁抜ける''', '''▁と''', '''▁雪''', '''国''', '''▁であった''', '''▁。'''])

             _lowerCamelCase							:     str	=		subword_tokenizer.tokenize('''こんばんは こんばん にち は こんにちは''')
             self.assertListEqual(a__      ,							['''▁こん''', '''ばん''', '''は''', '''▁こん''', '''ばん''', '''▁に''', '''ち''', '''▁は''', '''▁こんにちは'''])



      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Optional[Any]	=		self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese''')

             _lowerCamelCase							:     int	=		tokenizer.encode('''ありがとう。'''      ,							add_special_tokens=a__)
             _lowerCamelCase							:     Union[str, Any]	=		tokenizer.encode('''どういたしまして。'''      ,							add_special_tokens=a__)

             _lowerCamelCase							:     int	=		tokenizer.build_inputs_with_special_tokens(a__)
             _lowerCamelCase							:     List[str]	=		tokenizer.build_inputs_with_special_tokens(a__      ,							a__)

             # 2 is for "[CLS]", 3 is for "[SEP]"
             assert encoded_sentence == [2] + text + [3]
             assert encoded_pair == [2] + text + [3] + text_a + [3]







@custom_tokenizers
class 			__A       (      lowerCamelCase__ ,unittest.TestCase  ):




      """simple docstring"""







      UpperCAmelCase__						=      BertJapaneseTokenizer
      UpperCAmelCase__						=      False


      def 				__snake_case			(		self):



             """simple docstring"""





             super().setUp()

             _lowerCamelCase							:     Dict	=		['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

             _lowerCamelCase							:     Optional[int]	=		os.path.join(self.tmpdirname      ,							VOCAB_FILES_NAMES['''vocab_file'''])
             with open(self.vocab_file      ,							'''w'''      ,							encoding='''utf-8''') as vocab_writer:
                    vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]))


      def 				__snake_case			(		self      ,							**a__):



             """simple docstring"""





             return BertJapaneseTokenizer.from_pretrained(self.tmpdirname      ,							subword_tokenizer_type='''character'''      ,							**a__)


      def 				__snake_case			(		self      ,							a__):



             """simple docstring"""





             _lowerCamelCase							:     Any	=		'''こんにちは、世界。 \nこんばんは、世界。'''
             _lowerCamelCase							:     int	=		'''こ ん に ち は 、 世 界 。 こ ん ば ん は 、 世 界 。'''
             return input_text, output_text


      def 				__snake_case			(		self):



             """simple docstring"""





             pass  # TODO add if relevant


      def 				__snake_case			(		self):



             """simple docstring"""





             pass  # TODO add if relevant


      def 				__snake_case			(		self):



             """simple docstring"""





             pass  # TODO add if relevant


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     int	=		self.tokenizer_class(self.vocab_file      ,							subword_tokenizer_type='''character''')

             _lowerCamelCase							:     Optional[int]	=		tokenizer.tokenize('''こんにちは、世界。 \nこんばんは、世界。''')
             self.assertListEqual(
                 a__      ,							['''こ''', '''ん''', '''に''', '''ち''', '''は''', '''、''', '''世''', '''界''', '''。''', '''こ''', '''ん''', '''ば''', '''ん''', '''は''', '''、''', '''世''', '''界''', '''。'''])
             self.assertListEqual(
                 tokenizer.convert_tokens_to_ids(a__)      ,							[3, 4, 5, 6, 7, 11, 9, 10, 12, 3, 4, 8, 4, 7, 11, 9, 10, 12])


      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     List[Any]	=		['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

             _lowerCamelCase							:     List[str]	=		{}
             for i, token in enumerate(a__):
                    _lowerCamelCase							:     List[Any]	=		i
             _lowerCamelCase							:     Union[str, Any]	=		CharacterTokenizer(vocab=a__      ,							unk_token='''[UNK]''')

             self.assertListEqual(tokenizer.tokenize('''''')      ,							[])

             self.assertListEqual(tokenizer.tokenize('''こんにちは''')      ,							['''こ''', '''ん''', '''に''', '''ち''', '''は'''])

             self.assertListEqual(tokenizer.tokenize('''こんにちほ''')      ,							['''こ''', '''ん''', '''に''', '''ち''', '''[UNK]'''])



      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Dict	=		self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese-char''')

             _lowerCamelCase							:     List[str]	=		tokenizer.encode('''ありがとう。'''      ,							add_special_tokens=a__)
             _lowerCamelCase							:     Optional[int]	=		tokenizer.encode('''どういたしまして。'''      ,							add_special_tokens=a__)

             _lowerCamelCase							:     Union[str, Any]	=		tokenizer.build_inputs_with_special_tokens(a__)
             _lowerCamelCase							:     int	=		tokenizer.build_inputs_with_special_tokens(a__      ,							a__)

             # 2 is for "[CLS]", 3 is for "[SEP]"
             assert encoded_sentence == [2] + text + [3]
             assert encoded_pair == [2] + text + [3] + text_a + [3]







@custom_tokenizers
class 			__A       (      unittest.TestCase  ):




      """simple docstring"""







      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     List[Any]	=		'''cl-tohoku/bert-base-japanese'''
             _lowerCamelCase							:     Optional[int]	=		AutoTokenizer.from_pretrained(a__)
             self.assertIsInstance(a__      ,							a__)







class 			__A       (      unittest.TestCase  ):




      """simple docstring"""







      def 				__snake_case			(		self):



             """simple docstring"""





             _lowerCamelCase							:     Union[str, Any]	=		'''cl-tohoku/bert-base-japanese'''
             with self.assertLogs('''transformers'''      ,							level='''WARNING''') as cm:
                    BertTokenizer.from_pretrained(a__)
                    self.assertTrue(
                        cm.records[0].message.startswith(
                            '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
                            ''' is called from.'''))
             _lowerCamelCase							:     List[Any]	=		'''bert-base-cased'''
             with self.assertLogs('''transformers'''      ,							level='''WARNING''') as cm:
                    BertJapaneseTokenizer.from_pretrained(a__)
                    self.assertTrue(
                        cm.records[0].message.startswith(
                            '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
                            ''' is called from.'''))

