Поэтому выводите только те KPI и метрики, которые вам абсолютно необходимы. Это нормально — быть до жестокости простым и реалистичным. Достигните момента, когда вы сможете уверенно принять решение на основе полученных данных, и двигайтесь дальше. Если вы хотите углубиться в то, что делает приборную панель хорошей, мы написали об этом целую книгу, которую вы можете прочитать здесь.
Как мы автоматизировали выгрузки и другие Ad-hoc задачи аналитика с помощью Zeppelin
На момент написания статьи в компании Cardsmobile, которая разрабатывает приложение для мобильных кошельков, работает 195 человек: 8 аналитиков и 187 потенциальных клиентов-аналитиков. Мы разрабатываем приложение для конечных пользователей, а также работаем с розничными торговцами, банками, брендами и другими партнерами. Долгое время работа аналитика в Wallet состояла не только из изучения поведения пользователей, но и из различных дашбордов, анализа типов для партнеров и прогнозов для потенциальных клиентов. Конечно, наши приборные панели спасли много жизней и позволили всей компании следить за производительностью продукции. Но мы по-прежнему тратили время на другие повседневные дела, и по мере роста команды (клиентов) и компании, разовых задач становилось слишком много, а исследования, стремление к росту и светлому будущему затихали в упущенном времени.
Здесь так много хороших конференций, интересных статей о различной аналитике, науке о данных, data-driven, data happiness. Мы видели всю эту красоту и не знали, где найти время, чтобы поэкспериментировать во всем этом потоке. Многие говорят нам КАК сделать это круто, но мало кто говорит нам КАК управлять растущим рабочим процессом и освободить ресурсы для интересной и творческой работы. В этой статье я поделюсь нашим опытом движения к лучшему будущему. Вот примеры того, как мы автоматизируем специальные задачи анализа в Zeppelin.
Что такое Zeppelin
Zeppelin — это ноутбук Apache с открытым исходным кодом, который обеспечивает доступ к различным базам данных на разных языках (Python, R, SQL, Spark). Однако особенно интересен набор визуальных элементов — динамических форм.
В блокноте мы можем извлекать данные через API из Amplitude, быстро считывать агрегированные данные из Clickhouse, обогащать результат данными из MSSQL и обрабатывать все это в Python. И мы можем упаковать итоговые отчеты в Excel в удобный для клиента формат и поместить их в HTML-ссылку, с которой их можно легко скачать.
Вначале мы использовали его как блокнот, в котором было удобно писать на разных языках. Затем мы более внимательно изучили возможности Zeppelin, обнаружили встроенные динамические формы: Входящие, выпадающие списки и контрольные списки — и для нас зажегся свет! Мы сразу же подумали о том, как мы могли бы
Какие динамические формы есть
Флажок — это форма для выбора нескольких вариантов. Мы предоставляем его пользователю, например, для выбора списка обязательных полей при загрузке. Это, пожалуй, наш самый популярный пример. Или когда мы даем возможность выбрать различные метрики, сегменты пользователей.
Во многих случаях разработчик или DBA может запустить специальный запрос один раз и больше никогда его не использовать. С другой стороны, один и тот же запрос может выполняться приложением тысячи раз за день и оставаться специальным запросом. В зависимости от запроса, может не иметь смысла включать его в хранимую процедуру или настраивать его.
Специальные запросы не являются ни плохими, ни хорошими; как и во всем остальном, все зависит от того, как вы их используете. Я отсылаю вас к интересной статье Фила Фактора о том, как справиться с некоторыми неэффективными объявлениями ad hoc.
Чем полезны ad hoc запросы?
Чтобы определить, рассматривает ли SQL Server запрос как специальный запрос, можно проверить тип объекта в кэше программы. Здесь приведен запрос из книги «Inside Microsoft SQL Server 2012» Калена Делейни и др. Обратите внимание, что вам может понадобиться добавить дополнительные фильтры к тексту, если возвращается слишком много строк для поиска вашего запроса.
SELECT usecounts, cacheobjtype, objtype, text FROM sys.dm_exec_cached_plans P CROSS APPLY sys.dm_exec_sql_text (plan_handle) WHERE cacheobjtype = ‘Compiled Plan’ AND text NOT LIKE ‘% dm_exec_cached_plans%’,
Что такое ad hoc запрос в базе данных?
Для специального запроса вы видите тип объекта Adhoc, для запросов с параметрами вы также видите строку с типом объекта Prepared. Вызовы кэшированных процедур возвращают Proc, и многие другие.
Представьте себе систему, в которой каждый из многочисленных запросов может быть выполнен только один раз. Чтобы они не занимали место в кэше планов, включите опцию Optimise for Ad Hoc Workload. Затем, при первом выполнении запроса, в кэше хранится только заглушка плана. Когда запрос выполняется снова, SQL Server кэширует весь план.
Легче определить, что не является специальным запросом, чем что является. Специальные запросы — это не обязательно плохо, они просто являются частью типичной рабочей нагрузки SQL Server. Если вы подозреваете, что определенные специальные запросы вызывают проблемы, вы можете использовать Kalen Query для расследования. Инструменты отслеживания также помогут вам выявить непродуктивные запросы, которые необходимо оптимизировать.
Что такое параметр Optimize for Ad Hoc Workload?
Отсутствие обратных ссылок
Показать комментарии в виде списка | Древовидная структура
Обратные ссылки
Автор не разрешил комментарии к этой записи
Комментарии
Не каждый проект, поступающий в крупную компанию, требует обширного исследования. Исследования, проводимые компаниями, могут иметь различные цели и задачи. Например, исследования могут проводиться на регулярной основе, чтобы постоянно обновлять уровень информации компании о текущей обстановке. Мониторинг тенденций, изменение восприятия рекламных сообщений и анализ рыночной среды дают компании общие данные, к которым она может регулярно обращаться в своих ежедневных организационных процессах. Однако, когда необходимо решить более конкретные, узко определенные задачи, используются несколько иные методы.
«Ad Hoc» — это категория специальных исследований, проводимых на разовой основе с целью решения конкретных проблем. Дословный перевод с латыни — «в этом случае», «для этой цели», что сразу указывает на функцию таких исследовательских проектов. Детали работы и используемые методы могут различаться. Специальные исследования могут проводиться отдельно, по запросу или как часть более крупного пакета работ. Наиболее практичными и популярными являются специальные проекты для организаций, работающих непосредственно с конечным потребителем (потребительские рынки). Это связано с постоянно меняющейся рыночной средой, которая создает множество уникальных условий, которые необходимо исследовать. Можно ли проводить специальные исследования в сегменте B2B? Конечно, ведь даже при работе с другими организациями вам может понадобиться быстрый анализ ситуации или обзор существующих дел.
Ad-hoc исследования
Для таких проектов можно использовать практически любой метод исследования. Методы подбираются исключительно под цели исследователя, чтобы предоставить клиенту точную и актуальную информацию. Используемые методы также могут быть количественными или качественными. Поэтому гораздо практичнее показать, что именно можно проанализировать и задокументировать в исследовательских целях.
Оценка аспектов продукта:
Категории объектов исследования
Оценка взаимодействия с клиентами:
Оценка аспектов рынка:
- Концептуализация и оптимизация продукта;
- Изучение восприятия позиционирования продукта;
- Ценовая стратегия.
Узконаправленные опросы дают компаниям ряд очевидных преимуществ. Например, специфика проводимой работы позволяет исследователю и организации-клиенту сосредоточиться на решении и изучении конкретной проблемы, чтобы получить высококачественные и подробные данные. Стоимость этих испытаний также немалая, поскольку, в отличие от крупномасштабных проектов, конкретное исследование какой-либо проблемы обычно проводится в один этап. Результаты таких исследований доступны быстрее, а адаптивность формата позволяет разработать уникальный план работы для конкретной организации клиента.
- Тестирование эффективности рекламной стратегии;
- Изучение поведения потребителей;
- Определение уровней лояльности и удовлетворенности клиентов.
Формат исследования ad hoc можно считать достаточно гибким, поскольку он предоставляет возможность изменять отдельные элементы исследования (вопросы, аудиовизуальный материал), если цели и задачи сформулированы по-другому. Исследователи могут оказать компании неоценимую поддержку в принятии решений, поскольку данные отчета всегда используются для оценки текущей ситуации/деятельности компании. И, конечно, следует помнить об универсальности подхода. Как было описано ранее, специальные исследовательские мероприятия могут использоваться в любом секторе бизнеса, в любой отрасли.
- Изучение каналов сбыта, эффективности продаж;
- Изучение потенциала бренда и торговой марки в целом.
