Автор: 
14 декабря 2023 года состоится митап, на котором расскажут про тренды наступающего 2024 года, разберут особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных. Приглашаются дата- и ML-инженеры, тимлиды и разработчики решений для аналитики и платформ данных, архитекторы и специалисты по Data Science. Для участия в митапе необходимо зарегистрироваться по ссылке.
Программа
- Что предстоит делать с данными в 2024 году? Несколько лет назад возможности генеративного искусственного интеллекта казались фантастикой. Но будущее наступило и сделало это внезапно. В докладе вы узнаете о применении колоночных In-Memory СУБД для realtime-задач, что такое HTAP, зачем нужны графовые и векторные движки для ранжирования, скоринга и других задач AI и ML. Также будет рассказано, чем из этого можно пользоваться уже сейчас, а чего ожидать в скором времени.
- Как быстро мигрировать хранилище на Greenplum и сохранить уровень SLA. В рамках доклада расскажут про опыт миграции хранилища данных с зарубежного облака на Greenplum в условиях ограниченных сроков и требований к SLA. Обсудят технические проблемы, которые возникали в процессе миграции: базовая настройка Greenplum, распределение ресурсов, оптимизация запросов. Поговорят о подходе к рефакторингу существующего хранилища и о сложностях перехода от концепции Data Lake к классическому DWH. Затронут организационные вопросы: что позволило команде успешно выполнить проект и сохранить уровень SLA.
- Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций. В докладе расскажут о проблемах монолитного Compute&Sorage в Hadoop и о том, как их команда пришла к идее физического разделения Hadoop для снижения негативного влияния монолита. Речь пойдёт о том, какие технологии и принципы легли в основу проекта разделения Compute&Storage, чем пришлось пожертвовать и чему пришлось научиться, а также какой положительный эффект был получен, а где – появились дополнительные сложности.
- Контейнеризация Hadoop: как Одноклассники разделили слой хранения и обработки. В докладе расскажут про миграцию многопетабайтного кластера Hadoop с «железа» в облачную инфраструктуру. Из доклада вы узнаете, как провести миграцию практически без отрыва пользователей дата-платформы от бизнес-задач, с какими сложностями можно столкнуться при контейниризации Hadoop и каких характеристик команда Одноклассников достигла по итогу проекта.
