Предиктивная аналитика: что это такое, методы и инструменты прогностического анализа. Предиктивная аналитика что это?

«Статистический анализ данных позволяет общественным организациям выявить тех, кто готов стать донором, волонтером или жертвователем. Наталья Воробьева

Предиктивная аналитика: 3 метода и системы

Предиктивный анализ — это предсказательный или прогностический анализ.

На более глубоком уровне это набор методов анализа и интерпретации данных, помогающих принимать точные решения о будущем на основе прошлых событий.

Это делается путем поиска среди данных параметров, которые влияют на другие. Затем вы определяете степень влияния, и происходит волшебство: У вас есть представление о том, как изменится ваш бизнес, если определенный параметр изменит свое значение.

Зачем нужна бизнесу

Предиктивный анализ дает вам преимущество перед конкурентами. Представьте, что у вас всегда есть прогностическая информация, что вы знаете, что произойдет с вашим бизнесом завтра и какое решение будет наилучшим для этой ситуации.

Это очень важно. Сразу хочу извиниться перед математиками: Эта статья будет написана очень простым языком, и для лучшего понимания термины могут быть заменены человеческими понятиями, а принципы могут быть описаны ненаучно.

Теперь честно ответьте себе на один вопрос: «По каким критериям вы принимали последнее решение в своей компании?». Вы ответили?

Вероятно, что-то в духе «у меня большой опыт», «так всегда принимались решения в прошлом», «мне посоветовали мой дилер, моя жена, мой брат, мой шурин» и т.д. И вполне возможно, что это решение было правильным, но оно было случайным.

Теперь я расскажу вам, как бы вы поступили на основе прогностического анализа. Помните, однако, что это лишь малая часть возможных вариантов применения.

Кстати. Для поиска конкурентов я рекомендую следующие сервисы: Livedune (промо-код «INSCALE», скидка 30% + 7 дней доступа), Spywords (промо-код INS_613070, скидка 10%), Keys o. Они определенно помогут вам держать руку на пульсе.

1. Оптимизация в ритейле и FMCG

Если вы знаете, какие товары пользуются спросом, вы сможете решить сразу множество проблем: какие и сколько товаров должны быть в вашем магазине (интернет-магазине), что следует предложить покупателю в дополнение к его покупке, какова оптимальная цена на тот или иной товар.

Пример:

Вы являетесь владельцем интернет-магазина одежды. Вы знаете, что 80% покупателей-мужчин покупают рубашку в дополнение к пиджаку.

Зная это, вы можете предложить всем мужчинам, заказавшим только пиджак, заказать еще и рубашку. Я уверен, что многие из них согласятся, потому что статистика не лжет. Таким образом, вы увеличите средний заказ.

К

2. Оптимизация производства

Анализ в целом (и прогнозирование в частности) предполагает работу с данными. Если нет данных, то нечего анализировать и нет оснований для выводов. Поэтому если вы принимаете решение без данных, вы превращаетесь из бизнесмена в гадалку. Не делайте этого! Теперь о китах.

Пример:

Чтобы работать с информацией, нужно ее собирать — вполне логично. Но какие из них собирать и как? На эти вопросы нет правильных ответов. Каждой компании нужны данные и методы. Поэтому здесь действует правило: чем больше, тем лучше. Но я перечислю самые важные из них:

3. Обнаружение мошенничества

И так далее. Мы можем продолжать и продолжать. Сюда входят детекторы движения и сбор данных, мониторы Wi-Fi, интеллектуальные системы видеонаблюдения, кассовые аппараты и системы инвентарного контроля.

Пример:

Тем, кто сидит в танке и записывает все в книги, тетради и блокноты, не очень-то позавидуешь. В этом случае сбор данных ограничивается наблюдением, опросами и подобными инструментами. И если вы сейчас думаете: «О, и я тоже», просыпайтесь скорее и вступайте в век информационных технологий.

3 кита предиктивной аналитики

Именно здесь вступает в игру работа с данными. На этом этапе вам необходимо найти ранее неизвестную, непонятную информацию во всей ее полноте. А также полезные практические интерпретации собранных знаний, которые необходимы для принятия обоснованных решений.

Кит 1. Сбор данных

Это называется «добыча данных» — обнаружение знаний в данных. Они опираются на различные методы классификации, моделирования и статистики. О самых важных из них я расскажу чуть позже.

1. Количественные показатели. Сколько клиентов привлекли, сколько сообщений написали, сколько продукта продали и т.д.;
2. Экономические показатели. Сколько денег заработали и потратили, какая маржинальность, прибыльность и т.д.;
3. Внешние факторы. Уровень конкуренции, стратегии конкурентов, экономическая и политическая ситуация и т.д.;
4. Внутренние факторы. Загруженность персонала, уровень квалификации кадров, факторы влияющие на производство;
5. Временные показатели. Какое время затрачивается на одну сделку, как часто они повторяются;
6. Конверсионные показатели. Какой процент клиентов перешли из одного этапа воронки продаж в другой;
7. Клиентский путь. Откуда к Вам пришел клиент, как о Вас узнал, какой путь преодолел, как себя вел и тд.;
8. Клиентские показатели. Пол, возраст, профессия, семейное положение, уровень достатка, где живет, его потребности и т.д.

Сразу скажу, что для эффективного анализа требуется достаточно обширная информационная база. В данном случае работает закон больших чисел — чем больше, тем объективнее выводы. Исследовательский анализ информации решает проблемы:

Прогностический анализ — это набор методов анализа данных и их интерпретации с целью принятия успешных решений на будущее на основе результатов прошлых событий. Для решения задач анализа такого масштаба эксперт должен определить набор важных, значимых параметров, каждый из которых приводит к определенному результату. В современном мире эти инструменты прогнозирования являются наиболее активными и важными. Они используются, например, в бизнесе, коммерции и маркетинге. Даже процесс подачи заявки на кредит в той или иной степени включает в себя такие прогнозы. Банковская система создает образ неплатежеспособного клиента, а затем отделяет заявки от людей с похожими характеристиками.

Кит 2. Исследовательский анализ

Термин «предиктивная аналитика» в настоящее время обычно понимается как набор функций

В 2022 году практически каждая более или менее крупная дистрибьюторская или розничная компания будет так или иначе работать со структурами предиктивной аналитики. Аналогичная работа будет выполнена для:

Все эти виды деятельности оказывают непосредственное влияние на параметры рентабельности соответствующих бизнес-процессов.

1. Классификация. Присвоение одного элемента к группе других по определенным параметрам;
2. Регрессия. Выявление зависимости результатов от исходных данных;
3. Кластеризация. Объединение объектов в группы по различным параметрам;
4. Ассоциация. Определение закономерностей между событиями;
5. Последовательная ассоциация. Определение, через какое время после одного события случится другое;
6. Анализ отклонений. Определение некоторого количества исключений из правил.

Предиктивная аналитика: что это такое, методы и инструменты прогностического анализа

Нетрудно догадаться, что различные методы, системы и структуры этой академической области знаний также подходят для оптимизации и автоматизации работы на заводах всех видов. В такой обстановке у них это получается:

Что такое предикативная (предиктивная) аналитика

Методы ПА особенно актуальны для компаний, которым необходимо комплексное снижение рисков.

• директ-маркетинг;
• сетевое продвижение;
• потребительское и юридическое страхование;
• традиционное банковское дело;
• классическая педагогика (создание эффективных порядков преподавания);
• медицина и фармакология;
• выдача страховых сертификатов по суммам, вкладам и займам.

В отличие от обнаружения данных, инструменты предиктивной аналитики предназначены для специалистов и поэтому не получили широкого распространения. В 2012 году компания Gartner сообщила, что только 13 % пользователей BI широко используют предиктивную аналитику. Менее 3% используют такие методы, как математическое моделирование, симуляция и оптимизация.

Польза предиктивной аналитики в торговле

Эксперты считают, что не стоит ожидать массового применения в этой области, но тенденция будет постепенно меняться. Причиной этого является появление феномена Больших Данных, который заставляет компании искать новые способы обработки информации. По прогнозам Gartner, компании, применяющие передовую аналитику Больших Данных, будут расти на 20% быстрее своих конкурентов.

• составления прогнозов ежедневного спроса на конкретные товары;
• учета товарного замещения для позиций во время акций и скидок;
• формирования карт вариации цены в зависимости от сезонности и спроса;
• принятия во внимание климатических факторов, локаций и размеров точек;
• уточнения статистических показателей конкурирующих фирм и так далее.

Как пишет Эрик Сигел, эксперт в области предиктивной аналитики, в своей одноименной книге Predictive Analytics1, область предиктивной аналитики действительно очень широка. Он перечисляет 10 наиболее распространенных примеров:

Предиктивная аналитика на производстве

Прогнозирование потребительского спроса и планирование интервенций 2.

• для предсказания факторов, влияющих на характеристики выпускаемых изделий;
• прогнозирования состояния оборудования и шансов его выхода из строя;
• учета, касающегося потребления ресурсов и состояния основных активов;
• предварительного оповещения администрации и персонала о случаях ЧП.

Согласно прогнозу Transparency Market Research 4 от ноября 2013 года, рынок предиктивной аналитики достигнет 6,5 млрд долларов США к 2019 году. По мнению аналитиков, рост рынка будет обусловлен такими факторами, как увеличение спроса на специализированную аналитику и интеллектуальное программное обеспечение для информационной безопасности и защиты от мошенничества. Отдельно отмечается быстрый рост сегмента облачных решений для предиктивной аналитики 5 .

Области применения

Для сравнения, по данным той же компании, мировой рынок систем предиктивной аналитики в 2012 году составил 3 500,08 млрд евро, а его среднегодовые темпы роста с 2013 по 2019 год составят 17,8%.

Наибольший спрос на предиктивную аналитику наблюдается в таких отраслях конечных пользователей, как банковские и финансовые услуги, страхование, государственный сектор, фармацевтика, телекоммуникации и ИТ, а также розничная торговля. На эти сегменты пришлось 71,8% внедрений в 2012 году, причем на банковский сектор, финансовые услуги и страхование приходится наибольшая доля проектов в прогнозируемом периоде. Однако самый быстрый рост числа проектов будет наблюдаться в секторе розничной торговли

Среди региональных рынков самым крупным рынком предиктивной аналитики будет Северная Америка, причем спрос на предиктивные решения будет исходить от компаний, активно занимающихся Большими Данными. По этой причине все основные поставщики решений для Больших Данных, включая SAS Institute, SAP, Oracle, IBM, Microsoft, Teradata и Tableau Software, скоро выйдут на рынок предиктивной аналитики.

• Директ маркетинг: задача состоит в повышении числа откликов путем интеграции данных о клиентах из различных веб и социальных источников. Компании могут определять эффективность промо кампаний, разделяя потенциальных клиентов по сегментам, местоположению или каналам доставки.
• Предикативный таргетинг рекламы: любой рекламодатель хочет знать, какое сообщение является наиболее эффективным. Рекламу можно демонстрировать наилучшим образом онлайн, основываясь на подобии кликов, причем клиенты только выиграют от подачи более релевантного контента.
• Выявление мошеннических схем: средства предикативного анализа позволяют минимизировать использование мошенниками фальшивых схем страхования, получения кредита и тому подобное.
• Управление инвестиционными рисками: средства предикативного анализа позволяют оценить потенциал того или иного стартапа или другого актива. Метод может использоваться компаниями и для выбора партнера, кандидата на покупку или даже вендора.
• Удержание клиентов: предикативный анализ позволяет рассчитать поведение клиентов, а также учесть негативные факторы, влияющие на их решения.
• Рекомендательные сервисы: пользователям можно рекомендовать товары или контент на основе данных о предыдущих просмотрах, интересах или анализа комментариев в Twitter.
• Образование: средства предикативной аналитики могут использоваться для обеспечения более эффективных методик преподавания.
• Политические кампании: моделирование процесса голосования.
• Системы принятия решения в медицине: предикативный анализ может на основании множества факторов выявить склонность пациентам к заболеваниям типа сахарного диабета, астмы и других болезней, связанных с образом жизни.
• Страхование и ипотечное кредитование: точное определение разумной суммы покрытия в каждом страховом случае.

Торговля

Рынок остается в значительной степени поделен между основными поставщиками, на долю пяти крупнейших из которых в 2012 году приходилось 80% объема рынка. Среди других заметных поставщиков — Fair Isaac, Tibco, Information Builders, Alteryx, Qlik (QlikTech) и MicroStrategy.

Мировой рынок

Прогноз Transparency Market Research 2017 года в 2019й

Без использования предиктивной аналитики компаниям было бы крайне сложно выстроить персонализированный подход к клиентам. В этом убежден Дмитрий Зеленко. «Сейчас между розничными сетями существует очень сильная конкуренция за каждого покупателя. Если вы сделаете предложение, которое вам не нужно, вы потеряете клиента. Например, если женщина получает рекламные предложения мужской обуви, она будет возмущена в первый раз, но во второй раз она уже будет блокировать такие сообщения», — комментирует эксперт.

«Розничным торговцам необходимо больше знать о своих покупателях, чтобы предложение было актуальным. А это невозможно без прогнозов, основанных на большом количестве данных. Дмитрий Зеленко

Например, по данным американской консалтинговой компании Everstring, 68% ритейлеров считают предиктивную аналитику ключом к росту. А по данным Forbes, 63% респондентов убеждены, что этот метод помогает предсказывать желания и потребности клиентов.

23 марта 2017 года в Москве прошла конференция по автоматизации маркетинга. По словам Дмитрия Зеленко, в 30% презентаций так или иначе упоминались примеры использования предиктивной аналитики. «Тенденция реальная: завтра десятки, а потом и сотни компаний будут использовать этот метод», — подчеркнул Зеленко.

Компании активно используют прогнозы в своей работе: они рассчитывают точное поведение клиентов, их возможные покупки на длительный период времени. Чему могут научиться государственные учреждения? Можно ли научиться более эффективно ориентироваться на потенциальных доноров, основываясь на привычках уже лояльной аудитории? Такие прогнозы делаются с помощью предиктивной аналитики. Наталья Баранова, корреспондент Теплицы, изучила этот вопрос и спросила экспертов, как этот метод может помочь НПО кардинально изменить методы работы.

Концепция предиктивной аналитики получила признание в финансовом секторе. Прежде всего, этот метод анализа основан на Больших Данных. «Его можно использовать для прогнозирования

«Предиктивная аналитика позволяет использовать математические модели для предсказания будущего на основе анализа данных». Глеб Башанов

Популярный метод

«Представьте, если бы у вас была стопроцентная информация о том, какие спортсмены и команды выиграют скачки в ближайшем будущем, вы могли бы поставить на это и без проблем стать миллионером. Предиктивная аналитика открывает такую возможность, ведь машина, обладающая данными о состоянии спортсменов, конкурентной среде, истории Игр, погоде и всей остальной информации, может предсказать успех лучше любого брокера», — описывает метод Глеб Басханов, руководитель отдела интернет-маркетинга агентства цифровых коммуникаций Molinos.

По мнению экспертов, метод предиктивного анализа активно используется системами, работающими с Большими Данными. «На основе анализа поведения пользователей такие системы, как Яндекс и Facebook, определяют вероятность покупки товара среди миллионов пользователей, которым показывается реклама. Это увеличивает возврат инвестиций для рекламодателей и прибыльность их платформы», — говорит Глеб Басханов.

«Эти технологии изучаются повсеместно и применяются в различных отраслях, таких как автомобили без водителя, операции без врача и выгодные инвестиции. Глеб Башанов

Кроме того, предиктивная аналитика может быть использована для расчета широкого спектра поведения клиентов. «У магазина «Детский мир», например, 20 000 товаров в каталоге и 10 миллионов держателей карт, — говорит Дмитрий Зеленко, — чтобы решить, кому какой товар предложить, нужно просчитать 200 миллиардов вариантов. Здесь нужен другой механизм, а не только MS Excel. Мы используем программу SAP: мы загружаем большие данные из розничных сетей. На выходе мы имеем варианты с таблицей вероятностей. И мы начинаем сортировку: Мы выбираем те, которые имеют высокую вероятность покупки. Таким образом, у нас остается 2 миллиона вариантов.

Некоторые сервисы агрегации предоставляют их бесплатно, иногда даже в удобном формате xml или json — например, OpenStreetMap, где можно получить географические данные об объекте. Существуют также публичные базы данных, такие как база данных Google, которые представляют собой большие коллекции данных по различным темам, которые находятся в открытом доступе и могут быть бесплатно использованы для обучения вашей модели.

Что такое предиктивная аналитика

Некоторые данные находятся в открытом доступе, но их нелегко использовать. Затем мы должны анализировать сайты, то есть извлекать данные автоматически (конечно, только если это законно — но в большинстве случаев это законно).

И некоторые данные должны быть куплены или выпущены для использования — несмотря на то, что

Мы случайным образом разделили все имеющиеся у нас данные в соотношении 80/20. Мы будем работать с 80 % и обучать модель на них, это и есть обучающая выборка. 20% мы пока отложили в сторону — они понадобятся нам позже, чтобы протестировать на них модель и убедиться, что все работает. Это проверочный образец.

Мы разделили обучающую выборку на обучающую и тестирующую выборки (70/30). Мы обучаем 70% модели. Мы тестируем 30% из них. Наконец, когда мы удовлетворены точностью, мы тестируем модель на валидационной выборке, т.е. на данных, которые модель никогда раньше не видела. Таким образом, мы можем убедиться, что модель действительно обладает заявленной точностью прогнозирования.

Где применяется предиктивный анализ

Обычно точность модели в тестовой и проверочной выборках практически одинакова. Если они сильно отличаются, то, скорее всего, это связано с данными: Возможно, они не были случайным образом разделены на обучающую и проверочную выборки, или данные могут быть неоднородными.

Когда мы обсуждаем проект с клиентом, одним из моментов, который мы с ним делаем, является определение критериев успеха проекта. Как мы узнаем, что завершили проект? Насколько точной должна быть модель и почему она должна быть такой точной?

Мы всегда начинаем проект с MVP — это относительно недорогая проверка наших предположений и модель, которая уже может принести пользу. Мы пытаемся обучить модель на имеющихся данных и найти определенный базовый уровень — минимальную точность модели (например, 75%). Мы будем постоянно пытаться повысить точность модели, когда это будет выгодно и полезно.

Как получить внешние данные?

Наконец, когда мы удовлетворены точностью модели, мы можем упаковать полученную модель в веб- или мобильное приложение с удобным интерфейсом. Например, в случае открытия магазинов и прогнозов продаж, веб-сервис может выглядеть как интерактивная карта, выделяя различные области разными цветами в зависимости от того, будет ли здесь открыт магазин, и для каждого выбранного места отображая полосу с прогнозом продаж для магазина, созданного в этом месте.

Разница между MVP и промышленным решением заключается в том, что модель MVP не может быть переобучена. Однако точность каждой модели со временем снижается и требует точной настройки. Поэтому для промышленного решения мы применяем один из двух вариантов поддержки: Либо мы поддерживаем саму модель, постоянно переобучая ее (и повышая ее точность), либо применяем цикл переобучения модели внутри программного обеспечения.

Поддержка живой команды, конечно, стоит дороже. Однако автоматическое переобучение имеет тот недостаток, что оно может привести к внезапным

Как проверить точность модели?

MVP и промышленное решение