Автор: 
16 февраля 2023 года пройдёт девятый онлайн-митап для продуктовых аналитиков. На митапе расскажут про построение репутационной системы, об автоматизации оповещений, о падениях или нездоровых взлётах метрик, а также о методах сокращения дисперсии. Для участия в мероприятии необходимо зарегистрироваться по ссылке.
Доклады
- Как «раскрасить» продавца или основные этапы построения репутационной системы в Авито Недвижимости. Людмила Кучина из Авито расскажет, как они решили перейти от поиска плохих объявлений к определению «качества» продавца. Как в Авито оценивают качество контента, почему эту задачу не получилось решить с помощью машинного обучения, и главное, чем этот опыт может быть полезен вам.
- Что такое хорошо и что такое плохо в Авито Недвижимости. Почему мы не выбрали чёрный ящик ML.
- Цикл построения репутационной системы в Авито Недвижимости.
- Оценка качества контента.
- Эксперимент с масштабированием оценки и валидация полученных результатов.
- Алерты о падениях продуктовых метрик, или как не терять деньги? Иван Еремеев из VK (Дзен) расскажет об автоматизации оповещения о падениях или нездоровых взлётах продуктовых метрик, чтобы сразу оценивать масштаб проблемы в деньгах, и что это дало продукту.
- Почему нам не подошли Grafana, Redash, Power BI и др, и пришлось создавать свой собственный инструмент.
- Различные подходы к оповещениям: сравнение текущего периода с предыдущим, скользящее среднее, скользящие границы и методы машинного обучения.
- Итоговый алгоритм, который лучше всего подошёл для нас.
- Интерфейс: рассылка, телеграм-бот.
- Как считали эффект в деньгах.
- Кому подойдёт такое решение и почему.
- Ускорение экспериментов с помощью VWE. Егор Сёмин из EXPF расскажет, зачем сокращать дисперсию, как это влияет на время проведения эксперимента. А ещё затронет тему преимуществ пост- и предобработки данных и скажет, чем работа с Variance-Weighted Estimator отличается от других методов. В докладе:
- Методы сокращения дисперсии.
- Применение VWE к ratio метрикам.
- Примеры реализации.
