Bespoke-MiniCheck-7B
Este es un modelo de verificación de hechos desarrollado por Bespoke Labs y mantenido por Liyan Tang y Bespoke Labs. El modelo toma como entrada un documento y una oración y determina si la oración está respaldada por el documento: MiniCheck-Model(documento, afirmación) -> {0, 1}. Para verificar una afirmación de múltiples oraciones, primero se debe dividir la afirmación en oraciones. El documento no necesita ser dividido a menos que exceda los 32K tokens. Llama-3.1-Bespoke-MiniCheck-7B está ajustado a partir de internlm/internlm2_5-7b-chat (Cai et al., 2024) en la combinación de 35K puntos de datos solamente: 21K ejemplos de ANLI (Nie et al., 2020) y 14K ejemplos generados sintéticamente siguiendo el esquema en el documento de MiniCheck, pero con técnicas adicionales de curación de datos propietarios (muestreo, selección de fuentes de datos adicionales de alta calidad, etc.) de Bespoke Labs. Todos los datos sintéticos son generados por meta-llama/Meta-Llama-3.1-405B-Instruct, de ahí el nombre Llama-3.1-Bespoke-MiniCheck-7B.
Como usar
Por favor, ejecute el siguiente comando para instalar el paquete MiniCheck y todas las dependencias necesarias.
pip install "minicheck[llm] @ git+https://github.com/Liyan06/MiniCheck.git@main"
A continuación se muestra un caso de uso simple:
from minicheck.minicheck import MiniCheck
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
doc = "Un grupo de estudiantes se reúne en la biblioteca de la escuela para estudiar para sus exámenes finales."
claim_1 = "Los estudiantes se están preparando para un examen."
claim_2 = "Los estudiantes están de vacaciones."
# model_name puede ser uno de:
# ['roberta-large', 'deberta-v3-large', 'flan-t5-large', 'Bespoke-MiniCheck-7B']
scorer = MiniCheck(model_name='Bespoke-MiniCheck-7B', enable_prefix_caching=False, cache_dir='./ckpts')
pred_label, raw_prob, _, _ = scorer.score(docs=[doc, doc], claims=[claim_1, claim_2])
print(pred_label) # [1, 0]
print(raw_prob) # [0.9840446675150499, 0.010986349594852094]
Para habilitar el almacenamiento en caché de prefijos automáticos para Bespoke-MiniCheck-7B, simplemente configure enable_prefix_caching=True al inicializar el modelo MiniCheck:
scorer = MiniCheck(model_name='Bespoke-MiniCheck-7B', enable_prefix_caching=True, cache_dir='./ckpts')
Funcionalidades
- Modelo de verificación de hechos
- No requiere extracción de fragmentos a menos que exceda los 32K tokens
- Ejemplos de capacitación de ANLI y ejemplos generados sintéticamente
- Datos curados de alta calidad
- Técnicas propietarias de curación de datos de Bespoke Labs
Casos de uso
- Verificación de hechos en tiempo real
- Validación de afirmaciones en documentos extensos
- Mejora de la precisión de los modelos de lenguaje
- Generación de ejemplos sintéticos de alta calidad
- Desarrollo y pruebas en benchmarks de verificación de hechos