Токенизация как этап предобработки экспериментальных данных

Язык в его первоначальной форме не может быть точно обработан машиной, поэтому вам нужно обработать язык, чтобы его было легче понять машине. Первая часть осмысления данных - это процесс, называемый токенизацией, или разбиение строк на более мелкие части, называемые токенами.

Токен - это последовательность символов в тексте, которая служит единым целым. В зависимости от того, как вы создаете токены, они могут состоять из слов, смайликов, хэштегов, ссылок или даже отдельных символов. Основной способ разбить язык на токены - это разбить текст по пробелам и пунктуации.

Для начала создайте новый фай...