Uso de Sentence Transformers en Hugging Face

sentence-transformers es una biblioteca que proporciona métodos sencillos para calcular embeddings (representaciones vectoriales densas) de oraciones, párrafos e imágenes. Los textos se incrustan en un espacio vectorial de modo que los textos similares estén cerca, lo que permite aplicaciones como búsqueda semántica, agrupamiento y recuperación.

Explorar sentence-transformers en el Hub

Puedes encontrar más de 500 modelos de sentence-transformer filtrando a la izquierda de la página de modelos. La mayoría de estos modelos admiten diferentes tareas, como realizar feature-extraction para generar el embedding y sentence-similarity como forma de determinar qué tan similar es una oración dada a otra. También puedes encontrar un resumen de los modelos preentrenados oficiales en la documentación oficial.

Todos los modelos del Hub vienen con características:

1. Una tarjeta de modelo generada automáticamente con una descripción, fragmentos de código de ejemplo, un resumen de la arquitectura y más.
2. Etiquetas de metadatos que facilitan la descubribilidad y contienen información como la licencia.
3. Un widget interactivo que puedes usar para experimentar con el modelo directamente en el navegador.
4. Un widget de Inference Providers que permite realizar solicitudes de inferencia.

Uso de modelos existentes

Los modelos preentrenados en el Hub se pueden cargar con una sola línea de código

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('model_name')

A continuación se muestra un ejemplo que codifica oraciones y luego calcula la distancia entre ellas para realizar búsquedas semánticas.

from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer('multi-qa-MiniLM-L6-cos-v1')

query_embedding = model.encode('How big is London')
passage_embedding = model.encode(['London has 9,787,426 inhabitants at the 2011 census',
                                  'London is known for its financial district'])

print("Similarity:", util.dot_score(query_embedding, passage_embedding))

Si quieres ver cómo cargar un modelo específico, puedes hacer clic en Use in sentence-transformers y se te proporcionará un fragmento de código funcional para cargarlo.

Compartir tus modelos

Puedes compartir tus Sentence Transformers utilizando el método save_to_hub de un modelo entrenado.

from sentence_transformers import SentenceTransformer

# Load or train a model
model.save_to_hub("my_new_model")

Este comando crea un repositorio con una tarjeta de modelo generada automáticamente, un widget de inferencia, fragmentos de código de ejemplo y más. Aquí hay un ejemplo.

Recursos adicionales

• Biblioteca library de Sentence Transformers.
• Documentación de Sentence Transformers docs.
• Integración con el anuncio de Hub.