Я пытаюсь понять концепцию машинного обучения, называемую пулом CLS.
Может ли кто-нибудь объяснить, что это такое и как это работает простыми словами?
Меня особенно интересует его применение в задачах обработки естественного языка или компьютерного зрения.
6
Ответы
DigitalLegend
Mon Nov 18 2024
Для представления последовательности вложений в виде одного вектора используются различные методы, известные как «пулинг».
BitcoinBaronGuard
Mon Nov 18 2024
Одним из часто используемых методов является объединение в пулы [CLS].
В этом методе внедрение токена [CLS] рассматривается как представление всей последовательности.
DondaejiDelightfulCharm
Mon Nov 18 2024
Токен [CLS] обычно вставляется в начало входной последовательности в таких моделях, как BERT, и его внедрение обучено фиксировать общий контекст последовательности.
SsangyongSpirited
Mon Nov 18 2024
Другой популярный метод объединения — это объединение по среднему значению.
CryptoBaron
Sun Nov 17 2024
При объединении средних значений вычисляется среднее значение всех вложений токенов в последовательность для получения единого векторного представления.