О чём рассказывается в презентации:
Презентация посвящена современным технологиям работы с большими данными, включая их сбор, хранение и анализ. Рассматриваются ключевые характеристики Big Data, такие как объем, скорость и разнообразие данных, а также вызовы, с которыми сталкиваются традиционные системы. Упоминаются эффективные инструменты и подходы, позволяющие извлекать ценные бизнес-инсайты и адаптироваться к меняющимся условиям рынка.
Оглавление
Большие данные: технологии сбора, хранения и анализа
Большие данные характеризуются пятью V: Volume, Velocity, Variety, Veracity, Value
Традиционные системы не справляются с большими данными из-за их сложности
Рост объемов данных вызван IoT, мобильными приложениями и CRM-системами
Сбор данных делится на потоковый и пакетный режимы
Процесс сбора данных включает ingestion и начальную валидацию
Хранение больших данных использует объектные хранилища S3 и форматы Parquet
Lakehouse сочетает преимущества data lake и data warehouse
Обработка данных ускоряется Spark в 100 раз по сравнению с Hadoop
Аналитические БД ClickHouse и Greenplum обеспечивают быстрые SQL-запросы
Анализ больших данных включает batch, stream и ML-подходы
Применение больших данных в ритейле оптимизирует цепочки поставок
Вызовы больших данных: дефицит специалистов и hardware
Тренды: AI-агенты и Kubernetes для реал-тайм аналитики
Рынок data management в России растет более 20% ежегодно до 2030
Большие данные трансформируют бизнес через timely insights
Ключевые выводы
Спасибо за внимание!
