Работу подготовила Рощепий елена, 104 ак.гр.
Big data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей. Термин «большие данные» ввёл редактор журнала Nature Клиффорд Линч ещё в 2008 году в спецвыпуске, посвящённом взрывному росту мировых объёмов информации.
Техники и методы анализа, применимые к Big data по McKinsey: Data Mining; Краудсорсинг ; Смешение и интеграция данных; Машинное обучение; Искусственные нейронные сети; Распознавание образов; Прогнозная аналитика; Имитационное моделирование; Пространственный анализ; Статистический анализ; Визуализация аналитических данных.
Горизонтальная масштабируемость, которая обеспечивает обработку данных — базовый принцип обработки больших данных. Данные распределены на вычислительные узлы, а обработка происходит без деградации производительности. McKinsey включил в контекст применимости также реляционные системы управления и Business Intelligence. Технологии: NoSQL; MapReduce; Hadoop; R; Аппаратные решения.
Для больших данных выделяют традиционные определяющие характеристики, выработанные Meta Group ещё в 2001 году, которые называются « Три V »: Volume — величина физического объёма. Velocity — скорость прироста и необходимости быстрой обработки данных для получения результатов. Variety — возможность одновременно обрабатывать различные типы данных.
У «Билайна» есть огромное количество данных об абонентах, которые они используют не только для работы с ними, но и для создания аналитических продуктов, вроде внешнего консалтинга или IPTV- аналитики. «Билайн» сегментировали базу и защитили клиентов от денежных махинаций и вирусов, использовав для хранения HDFS, а для обработки данных — Rapidminer и Python. «Сбербанк» использует АС САФИ. Это система, которая анализирует фотографии для идентификации клиентов банка и предотвращает мошенничество. Система была внедрена ещё в 2014 году, в основе системы — сравнение фотографий из базы, которые попадают туда с веб-камер на стойках благодаря компьютерному зрению. Основа системы — биометрическая платформа. Благодаря этому, случаи мошенничества уменьшились в 10 раз. Использование Big data на примере крупных компаний:
Big data в мире Считается, что к 2025 году количество вырастет в 10 раз, то есть составит 400-440 зеттабайтов (1 ЗБ = 1024 ЭБ ( эксабайтов ); 1 ЭБ = 1 миллиард ГБ), так говорится в докладе The Data Age 2025, который был подготовлен аналитиками компании IDC. В докладе отмечается, что большую часть данных генерировать будут сами предприятия, а не обычные потребители.
Рынок Big data в России: В мировом масштабе российский рынок услуг и технологий big data ещё очень мал. В 2014 году американская компания IDC оценивала его в $340 млн. В России технологию используют в банковской сфере, энергетике, логистике, государственном секторе, телекоме и промышленности Рынок данных в России только зарождается. Внутри экосистемы RTB поставщиками данных выступают владельцы программатик -платформ управления данными ( DMP) и бирж данных ( data exchange). Телеком-операторы в пилотном режиме делятся с банками потребительской информацией о потенциальных заёмщиках.
Big data в бизнесе и маркетинге
Спасибо за внимание!
