mapa_de_tokens.py

{
  "add_bos_token" :  verdadero ,
  "add_eos_token" :  falso ,
  "add_prefix_space" :  nulo ,
  "decodificador_de_tokens_agregados" :  {
    "0" :  {
      "Contenido" :  "" ,
      "lstrip" :  falso ,
      "normalizado" :  falso ,
      "rstrip" :  falso ,
      "palabra_única" :  falso ,
      "especial" :  verdadero
    } ,
    "1" :  {
      "contenido" :  "<s>" ,
      "lstrip" :  falso ,
      "normalizado" :  falso ,
      "rstrip" :  falso ,
      "palabra_única" :  falso ,
      "especial" :  verdadero
    } ,
    "2" :  {
      "contenido" :  "</s>" ,
      "lstrip" :  falso ,
      "normalizado" :  falso ,
      "rstrip" :  falso ,
      "palabra_única" :  falso ,
      "especial" :  verdadero
    }
  } ,
  "tokens_especiales_adicionales" :  [ ] ,
  "bos_token" :  "<s>" ,
  "chat_template" :  "{%- if messages[0]['role'] == 'system' %}\n {%- set system_message = messages[0]['content'] %}\n {%- set loop_messages = messages[1:] %}\n{%- else %}\n {%- set loop_messages = messages %}\n{%- endif %}\n\n{{- bos_token }}\n{%- for message in loop_messages %}\n {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}\n {{- raise_exception('Después del mensaje de sistema opcional, los roles de conversación deben alternar usuario/asistente/usuario/asistente/...') }}\n {%- endif %}\n {%- if message['role'] == 'user' %}\n {%- si loop.first y system_message están definidos %}\n {{- ' [INST] ' + system_message + '\\n\\n' + message['content'] + ' [/INST]' }}\n {%- de lo contrario %}\n {{- ' [INST] ' + message['content'] + ' [/INST]' }}\n {%- endif %}\n {%- elif message['role'] == 'assistant' %}\n {{- ' ' + message['content'] + eos_token}}\n {%- de lo contrario %}\n {{- raise_exception('¡Solo se admiten los roles de usuario y asistente, con la excepción de un mensaje inicial del sistema opcional!') }}\n {%- endif %}\n{%- endfor %}\n" ,
  "limpiar_espacios_de_tokenización" :  falso ,
  "eos_token" :  "</s>" ,
  "legado" :  falso ,
  "longitud_máxima_modelo" :  1000000000000000019884624838656 ,
  "pad_token" :  nulo ,
  "sp_model_kwargs" :  { } ,
  "espacios_entre_tokens_especiales" :  falso ,
  "clase_tokenizador" :  "LlamaTokenizer" ,
  "unk_token" :  "" ,
  "use_default_system_prompt" :  falso
}