Что такое жетон маски в Берте?

Токен маска в BERT-это особый токен, используемый для замены определенного процента слов в входном тексте во время фазы предварительного обучения. Эта стратегия направлена ​​на то, чтобы помочь модели научиться выводить слова замаскированных на основе контекста, таким образом, улучшая ее производительность в нижестоящих задачах. Как правило, 15% токенов выбираются для маскировки, причем 80% из них заменяются токеном [маски], 10% заменены случайными токенами, а оставшиеся 10% остаются неизменными.