Устранение шумовых воздействий на данные

Устранение шума предполагает изъятие той части текста, которая не добавляет значения или информации к данным. Шум специфичен и обладает определенной степенью релевантности в рамках рассматриваемого проекта. Рассмотрим особенности твитов и выполним соответствующую предобработку.

Твит это строка, состоящая из не более чем 140 символов. Она может содержать специальные слова, начинающиеся с определённых знаков: сразу после @ пишется имя пользователя, с которым сообщение связано или к которому оно обращено, а после # находится так называемый хештег слово, которое явно указывает на связь твита с об...