Что такое токенизация в машинном обучении?

Не могли бы вы рассказать подробнее о концепции токенизации в сфере машинного обучения? Мне, как ключевому компоненту обработки естественного языка, интересно понять, как он преобразует текстовые данные в формат, понятный машинам. В частности, мне хотелось бы узнать о различных задействованных методах, таких как токенизация слов, токенизация предложений, и о том, как они облегчают дальнейший анализ, например, при анализе настроений или задачах классификации текста. Кроме того, меня интересуют любые реальные приложения, в которых токенизация играет ключевую роль в повышении производительности моделей машинного обучения.