all-MiniLM-L6-v2 - GGUF
leliuga
Similitud de oraciones
Este repositorio contiene archivos de formato GGUF para el modelo all-MiniLM-L6-v2. Este modelo es una versión del modelo original all-MiniLM-L6-v2 adaptada a GGUF. Su API de inferencia para la similitud de oraciones (servidorless) ha sido desactivada para este modelo.
Como usar
Funcionalidades
- Tamaño del modelo GGUF de 22.6M parámetros
- Arquitectura bert
- Soporte de varios niveles de cuantificación: 2-bit Q2_K, 3-bit Q3_K_SQ3_K_MQ3_K_L, 4-bit Q4_K_SQ4_0Q4_K_M, 5-bit Q5_K_SQ5_0Q5_K_M, 6-bit Q6_K, 8-bit Q8_0, 16-bit F16, 32-bit F32
Casos de uso
- Similitud de oraciones
- Extracción de características
- Inferencia de incrustaciones de texto