Create mapa_de_tokens.py
Browse files- mapa_de_tokens.py +44 -0
mapa_de_tokens.py
ADDED
|
@@ -0,0 +1,44 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"add_bos_token" : verdadero ,
|
| 3 |
+
"add_eos_token" : falso ,
|
| 4 |
+
"add_prefix_space" : nulo ,
|
| 5 |
+
"decodificador_de_tokens_agregados" : {
|
| 6 |
+
"0" : {
|
| 7 |
+
"Contenido" : "" ,
|
| 8 |
+
"lstrip" : falso ,
|
| 9 |
+
"normalizado" : falso ,
|
| 10 |
+
"rstrip" : falso ,
|
| 11 |
+
"palabra_煤nica" : falso ,
|
| 12 |
+
"especial" : verdadero
|
| 13 |
+
} ,
|
| 14 |
+
"1" : {
|
| 15 |
+
"contenido" : "<s>" ,
|
| 16 |
+
"lstrip" : falso ,
|
| 17 |
+
"normalizado" : falso ,
|
| 18 |
+
"rstrip" : falso ,
|
| 19 |
+
"palabra_煤nica" : falso ,
|
| 20 |
+
"especial" : verdadero
|
| 21 |
+
} ,
|
| 22 |
+
"2" : {
|
| 23 |
+
"contenido" : "</s>" ,
|
| 24 |
+
"lstrip" : falso ,
|
| 25 |
+
"normalizado" : falso ,
|
| 26 |
+
"rstrip" : falso ,
|
| 27 |
+
"palabra_煤nica" : falso ,
|
| 28 |
+
"especial" : verdadero
|
| 29 |
+
}
|
| 30 |
+
} ,
|
| 31 |
+
"tokens_especiales_adicionales" : [ ] ,
|
| 32 |
+
"bos_token" : "<s>" ,
|
| 33 |
+
"chat_template" : "{%- if messages[0]['role'] == 'system' %}\n {%- set system_message = messages[0]['content'] %}\n {%- set loop_messages = messages[1:] %}\n{%- else %}\n {%- set loop_messages = messages %}\n{%- endif %}\n\n{{- bos_token }}\n{%- for message in loop_messages %}\n {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}\n {{- raise_exception('Despu茅s del mensaje de sistema opcional, los roles de conversaci贸n deben alternar usuario/asistente/usuario/asistente/...') }}\n {%- endif %}\n {%- if message['role'] == 'user' %}\n {%- si loop.first y system_message est谩n definidos %}\n {{- ' [INST] ' + system_message + '\\n\\n' + message['content'] + ' [/INST]' }}\n {%- de lo contrario %}\n {{- ' [INST] ' + message['content'] + ' [/INST]' }}\n {%- endif %}\n {%- elif message['role'] == 'assistant' %}\n {{- ' ' + message['content'] + eos_token}}\n {%- de lo contrario %}\n {{- raise_exception('隆Solo se admiten los roles de usuario y asistente, con la excepci贸n de un mensaje inicial del sistema opcional!') }}\n {%- endif %}\n{%- endfor %}\n" ,
|
| 34 |
+
"limpiar_espacios_de_tokenizaci贸n" : falso ,
|
| 35 |
+
"eos_token" : "</s>" ,
|
| 36 |
+
"legado" : falso ,
|
| 37 |
+
"longitud_m谩xima_modelo" : 1000000000000000019884624838656 ,
|
| 38 |
+
"pad_token" : nulo ,
|
| 39 |
+
"sp_model_kwargs" : { } ,
|
| 40 |
+
"espacios_entre_tokens_especiales" : falso ,
|
| 41 |
+
"clase_tokenizador" : "LlamaTokenizer" ,
|
| 42 |
+
"unk_token" : "" ,
|
| 43 |
+
"use_default_system_prompt" : falso
|
| 44 |
+
}
|