Возьмите большой корпус русской википедии (весит 3.5 ГБ): Выделите текстовое содержание, проведите токенизацию и постройте частотные списки первых 10 тысяч словоформ надежными методами для двух подкорпусов

Предварительные оценки.

В категории [[категория:сражения по алфавиту]] находится 3240 статей. Исходя из того, что одна статья весит около 30Кб, то объем обработанного текста будет приблизительно равен 94 МБ. В данном случае объем подкорпуса с ограничением, что статья должна содержать более 200 слов, скорее всего, не сильно уменьшится, т.к. многие исторические события (особенно сражения) достаточно детально описаны в других источниках.

В категории [[категория:компьютерные игры по алфавиту]] находится 6762 статей. Исходя из того, что одна статья весит около 10Кб (статьи в да...