bert-large-uncased-whole-word-masking-finetuned-squad

Modelo grande de BERT (uncased) con enmascaramiento de palabras completas afinado en SQuAD. Modelo preentrenado en el idioma inglés utilizando un objetivo de modelado de lenguaje enmascarado (MLM). Este modelo es uncased: no diferencia entre english y English. A diferencia de otros modelos BERT, este fue entrenado con una técnica nueva: Enmascaramiento de Palabras Completas. En este caso, todos los tokens correspondientes a una palabra se enmascaran a la vez. La tasa de enmascaramiento general se mantiene igual. Después del pre-entrenamiento, este modelo fue afinado en el conjunto de datos de SQuAD con uno de nuestros scripts de afinado. BERT es un modelo de transformers preentrenado en un gran corpus de datos en inglés de forma autosupervisada. Esto significa que se preentrenó solo con textos sin procesar, sin ninguna etiquetación humana, mediante un proceso automático para generar entradas y etiquetas a partir de esos textos. Se preentrenó con dos objetivos: modelado de lenguaje enmascarado (MLM) y predicción de la siguiente oración (NSP).