Автор: 
20 декабря 2022 года пройдёт онлайн-митап для дата-инженеров «Beeline Meetup: Data Engineering Tools». После каждого доклада участники смогут подискутировать с другими гостями мероприятия и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — поясные сумки. Для участия в митапе необходимо зарегистрироваться по ссылке.
Программа
- Как настроить ETL с JSON’ами в Apache NiFi. Сергей Евсеев расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных, и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.
- Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow. Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчёта. Никита Хилов расскажет, почему так бывает, и как в команде создавали сквозные пользовательские логи в продукте.
- Apache Flink: Flink Table API & SQL. Александр Булатов расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
